自然语言处理
文章平均质量分 92
JN_rainbow
这个作者很懒,什么都没留下…
展开
-
《Attention Is All You Need》
本文是对Google2017年发表于NIPS上的论文"Attention is all you need"的阅读笔记.对于深度学习中NLP问题,通常是将句子分词后,转化词向量序列,转为seq2seq问题.RNN方案采用RNN模型,通常是递归地进行yt=f(yt−1,xt)y_t=f(y_{t-1},x_t)yt=f(yt−1,xt),优点在于结构简单,十分适合序列建模;缺点在于需要...原创 2018-12-02 14:31:00 · 571 阅读 · 0 评论 -
自然语言处理(三)语言模型
文章目录语言模型基本概念n元文法(n-gram)语言模型参数估计参数估计数据平滑性能评价语言模型应用改进的语言模型n-gram存在的问题基于缓存的语言模型基于混合方法的语言模型参考资料语言模型基本概念用数学的方法描述语言规律,即用句子S=w1,w2…wnS = w_1,w_2\dots w_nS=w1,w2…wn的概率p(S)p(S)p(S)刻画句子的合理性.对语句合理性判断:规则...原创 2018-11-29 19:01:47 · 557 阅读 · 0 评论 -
自然语言处理(四)神经网络语言模型及词向量
神经网络语言模型用句子SSS的概率p(S)p(S)p(S)来定量刻画句子。统计语言模型是利用概率统计方法来学习参数p(wi∣w1…wi−1)p(w_i|w_1\dots w_{i-1})p(wi∣w1…wi−1),神经网络语言模型则通过神经网络学习参数.统计语言模型的缺点平滑技术错综复杂且需要回退至低阶,使得该模型无法面向更大的n元文法获取更多的词信息.基于最大似然估计的语言模型...原创 2018-12-01 16:26:05 · 1977 阅读 · 0 评论 -
自然语言处理(一)NLP概述
NLP概述NLP是利用计算机为工具,对人类特有的书面形式和口头形式的自然语言的信息进行各种类型处理和加工的技术.NLP内容结构NLP基础技术词法分析词法分析目的是从句子中分出单词,找出词汇的各个词素,从中获得单词的语言学信息并确定单词的词性. 词法分析是很多中文信息处理任务的必要步骤.自动分词命名实体识别词性标注句法分析句法分析是对句子和短语结构进行分析,如句子的形式结构...原创 2018-11-27 22:21:10 · 1114 阅读 · 0 评论 -
自然语言处理(二)概率论信息论基础
概率论概率概率的统计定义频率事件A在n次重复随机试验中出现的次数与n的比值。概率在同一条件下做的大量重复试验中,若事件A发生的频率总是在一个确定的常数p附近摆动,并且逐渐稳定于p,那么数p就表示事件A发生的可能性大小,并成为事件A的概率.概率的公理化定义设E是随机试验,Ω是E的样本空间,对于E 的每一个事件A赋予一个实数值,表示事件发生的可能性(记为P(A)P(A)P(A))...原创 2018-11-27 22:22:20 · 618 阅读 · 2 评论 -
transformer-pytorch实现
transformer-pytorch实现转载 2018-12-09 16:37:08 · 551 阅读 · 0 评论