论文名字：Efficient Estimation of Word Representations in Vector Space
0.基本知识
0.1 语言模型：
计算一个句子是句子的概率的模型。即这些词语按照一定顺序放在一起的概率。
应用：输入法
0.1.1 统计语言模型 - Laplace Smoothing - 马尔可夫假设
P ( s ) = P ( w 1 , . . . , w n ) = P ( w 1 ) P ( w 2 ∣ w 1 ) … P ( w n ∣ w 1 , . . . . , w n − 1 ) P(s)=P(w_1,...,w_n)=P(w_1)P(w_2|w_1)\dots P(w_n|w_1,....,w_{n-1}) P(s)=P(w1,...,wn)=P(w1)P(w2∣w1)…P(wn∣w1,....,wn−1)
求解方法：
用语料的频率来代替概率
因为 P ( w i − 1 , w i ) = c o u n t ( w i , w i − 1 ) N P(w_{i-1},w_{i})=\frac{count(w_i,w_{i-1})}{N} P(wi−1,wi)=Ncount(wi,wi−1)， P ( w i − 1 ) = c o u n t ( w i − 1 ) N P(w_{i-1})=\frac{count(w_{i-1})}{N} P(wi−1)=Ncount(wi−1)，
所以
P ( w i ∣ w i − 1 ) = c o u n t ( w i , w i − 1 ) c o u n t ( w i − 1 ) P(w_i|w_{i-1})=\frac{count(w_i,w_{i-1})}{count(w_{i-1})} P(wi∣wi−1)=count(wi−1)count(wi,wi−1)
类似的
P ( w n ∣ w 1 , . . . , w n − 1 ) = c o u n t ( w 1 , . . . , w n ) c o u n t ( w 1 , . . . , w n − 1 ) P(w_n|w_1,...,w_{n-1})=\frac{count(w_1,...,w_{n})}{count(w_1,...,w_{n-1})} P(wn∣w1,...,wn−1)=count(w1,...,wn−1)count(w1
最低0.47元/天 解锁文章
547
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
