6.1 语言模型词向量模型与语言模型非常紧密地交织在一起。语言模型的质量评估是基于它们对词语用概率分布的表征能力。事实上,许多最先进的词向量模型都在攻坚的任务就是已有一串词语序列,预测下一个出现的词语将会是什么。语言模型是干嘛的?chunking语言模型可以计算任何句子的概率。例如,“I love you too”的概率是多少?用数学语言表述,NN元语言模型(bi-gram model)根...

8.1 循环神经网络与递归神经网络的区别与联系1.循环神经网络（recurrent neural network）是时间上的展开，处理的是序列结构的信息，是有环图，模型结构如下：recurrent: 时间维度的展开，代表信息在时间维度从前往后的的传递和积累，可以类比markov假设，后面的信息的概率建立在前面信息的基础上，在神经网络结构上表现为后面的神经网络的隐藏层的输入是前面的神经网络的...

7.1 BP神经网络手推BP神经网络见PPT7.2 卷积神经网络介绍几个知识点：1.卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一。CNN相较于传统的算法避免了对图像复杂的前期预处理过程(提取人工特征等),可以直接输入原始图像。2.CNN中的局部连接(Sparse Connectivity)和权值共享(Shared...

9.1 电子病例背景介绍近年来,在电子病历文本上应用自然语言处理、信息抽取等技术服务于临床决策支持的研究倍受关注。这个过程分为两个不同的阶段:1.自然语言处理研究主要关注病历文本的预处理,包括句子边界识别、词性标注、句法分析等; 2.信息抽取以自然语言处理研究为基础,主要关注病历文本中各类表达医疗知识的命名实体或医疗概念的识别和关系抽取。9.2 中文电子病历命名实体和实体关系标注体系建立和...

3.1 分词、词性标注及命名实体识别介绍及应用分词==中文分词==(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。中文/n 分词/n 是/v 其他/p 中文/n (信息,n) 处理/v 的 基础,搜索引擎、机器翻译(MT)、语音合成、自动分类、自动摘要、自动校对等等,都需要用到分词...

4.1 依存句法分析依存语法 (Dependency Parsing, DP) 通过分析语言单位内成分之间的依存关系揭示其句法结构。 直观来讲,依存句法分析识别句子中的“主谓宾”、“定状补”这些语法成分,并分析各成分之间的关系。上面的例子,其分析结果为:• 从分析结果中我们可以看到,句子的核心谓词为“提出”,主语是“×××”,提出的宾语是“支持上海...”,“调研...时”是“提出”的(时间...

网上找的，别人根据B站视频写的笔记B站网址：https://www.bilibili.com/video/av42021445/?p=17GitHub网址：https://github.com/JackKuo666/NLP_basis第一章：NLP简介NLP是什么?•NLP( Natural Language Processing ) 是 自然 语言 处理 的 简称,是研究人与计算机交互的...

5.1 N-GRAM介绍N-Gram是基于一个假设:第n个词出现不前n-1个词相关,而不其他任何词不相关。(这也是隐马尔可夫当中的假设。)整个句子出现的概率就等于各个词出现的概率乘积。各个词的概率可以通过语料中统计计算得到。假设句子T是有词序列w1,w2,w3...wn组成,用公式表示N-Gram语言模型如下:• P(T)=P(w1)p(w2)p(w3)*p(wn)=p(w1)p(w2|w1)...

1.NumPynumpy系统是Python的一种开源的数值计算包。 包括：1、一个强大的N维数组对象Array；2、比较成熟的（广播）函数库；3、用于整合C/C++和Fortran代码的工具包；4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy配合使用更加方便。conda install numpy或者 pip install numpy2. NLTK...