![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
nlp_znt
这个作者很懒,什么都没留下…
展开
-
Michael collins nlp课程笔记(一)语言模型Language Modeling
目录一、语言模型的定义和意义二、语言模型的马尔可夫模型2.1 定长句子下的马尔可夫模型2.2 变长句子下的马尔可夫模型 三、三元语言模型(Trigram Language Model)3.1 极大似然估计3.2 平滑估计3.2.1 线性插值(Linear Interpolation) 3.2.2 Discounting Methods讲义...原创 2018-12-09 22:13:47 · 1139 阅读 · 3 评论 -
Michael collins nlp课程笔记(二)Tagging Problems, and Hidden Markov Models
目录 一、标注问题二、标注问题的生成模型2.1 问题的定义及转换2.2 隐马尔科夫模型2.3 三元隐马尔科夫模型的参数估计 2.4 模型的解码——维特比算法讲义链接:http://www.cs.columbia.edu/~mcollins/hmms-spring2013.pdf一、标注问题标注问题的任务是对于一个序列,给出其标记序列,也称为序列标记问题。nl...原创 2018-12-10 14:34:02 · 465 阅读 · 0 评论 -
Michael collins nlp课程笔记(三)Log-Linear Models
目录 一、Log-Linear提出的动机二、Log-Linear模型2.1 定义 2.2 特征的构造2.3 参数估计讲义链接:http://www.cs.columbia.edu/~mcollins/loglinear.pdf一、Log-Linear提出的动机在语言模型和标注问题中,马尔科夫模型和隐马尔科夫模型都做出了很强的条件独立性假设。例如,语言模型中假设了...原创 2018-12-10 22:08:18 · 805 阅读 · 0 评论 -
Michael collins nlp课程笔记(四)MEMMS(Log-Linear Tagging Models)
目录 一、条件标注模型的定义 二、Trigram MEMMs2.1 模型定义 2.2 参数估计 2.3 解码pdf链接:http://www.cs.columbia.edu/~mcollins/fall2014-loglineartaggers.pdf一、条件标注模型的定义 二、Trigram MEMMs2.1 模型定义对我们所要建模的条件概率进行分...原创 2018-12-11 11:52:27 · 450 阅读 · 0 评论 -
nlp中常见任务
1.POS(Part-Of-Speech tagging):即词性标注,为橘子中的没歌词都标上一个合适的词性,也就是我们要确定每个词是名词、动词、形容词或其他词性。例如:The representative put chairs on the table.(代表把椅子放在桌子上)AT(冠词)NN(单数或者物质名词)VBD(动词过去式)NNS(复数名词)IN(介词)AT(冠词)NN(单数或者...原创 2019-07-11 09:32:29 · 951 阅读 · 0 评论 -
文本摘要技术调研
文本摘要主要有两种实现方式:抽取式(extractive)和生成式(abstractive)。抽取式摘要从原文中选取关键词、关键句组成摘要。这种方法天然的在语法、句法上错误率低,保证了一定的效果。传统的抽取式摘要主要采用基于统计、基于图、聚类等方式完成无监督摘要。基于机器学习的方法主要将摘要作为一个二分类问题,通过对特征进行建模,判断一个句子是否属于摘要。基于神经网络的抽取式摘要往往将问题建模...原创 2019-07-11 15:05:07 · 409 阅读 · 0 评论