![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
课程笔记
是luckyBaby呢
这个作者很懒,什么都没留下…
展开
-
NLP 之 Word Represention
one hot represention:one hot,count,td-idf 缺点:长度和词典长度相同,稀疏性,无法计算相似度 one hot表示单词,一个和词典大小一样的向量,单词出现的位置为1,其余位置为0。向量中只有一个值为1. one hot表示句子,一个和词典大小一样的向量,句子中词出现的位置为1,其余位置为0。向量中1的个数小于等于句子中词的个数。 count表示句子,一个...原创 2019-08-05 10:02:08 · 237 阅读 · 0 评论 -
NLP笔记之Markov assumption 和 language model
贝叶斯模型无法表示长句子,多个单词的条件下,某个词出现的概率极小,再经过链式法则连乘之后,概率更小。 针对这个问题,有马尔科夫假设: 马尔科夫假设:某个单词出现的概率只与它前面的一个或几个单词有关。 一阶马尔科夫模型对应二元语法模型bigram 二阶马尔科夫模型对应三元语法模型trigram 一元语法模型无法表示语句中单词之间的关系。一元模型下,正常语句的概率和改句子打乱后的概率相...原创 2019-08-07 08:52:17 · 1093 阅读 · 0 评论 -
NLP笔记之 语言模型的平滑技术
基于markov的语言模型,在遇到未登录词时,会将语法合理的句子概率计算为0.这是不合理的。 Add-one Smoothing (laplace smoothing) 分母上加一个V(词典大小)的一个理由,使概率之和为1. Add-K Smoothing 以perplexity为优化目标,计算最优的值 Interpolation平滑 核心思想:计算Trigram概率时同...原创 2019-08-07 12:20:00 · 566 阅读 · 0 评论