![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
Marin_X
这个作者很懒,什么都没留下…
展开
-
CS224N个人笔记
1. 词向量 词向量,即使用密集的低纬向量代替稀疏的one-hot向量。 传统的词向量可以使用SVD等方法得到,但基于神经网络的词向量,是03年Bengio在神经网络语言模型论文中提出的。 one-hot向量的缺点: 1. 没有考虑词汇之间的相似性。比如,hotel和motel分别表示为(1,0,0)、(0,1,0),二者的内积为0,正交关系,相似性为0,但是这两个词是近义词。 2. 当文本词...原创 2019-10-08 17:40:02 · 376 阅读 · 0 评论 -
NLP之语言模型
语言模型,本质上就是在回答“这个句子是否合理”的问题。 下面,将简单介绍两类语言模型,统计语言模型、神经网络语言模型。 1. 统计语言模型 统计语言模型,以n-gram语言模型为代表,是离散的计算模型,根据n个词(有序的)在语料库中共现的频次计算概率,最终可以得到句子出现的概率(句子的合理性)。 n-gram模型,大致可以理解为,我们有一个很长的句子序列,所有的概率计算都要依靠滑窗实现,n...原创 2019-10-11 16:53:05 · 724 阅读 · 0 评论