统计语言模型

 

---

---

 

统计语言模型就是用来算一句话出现的概率大小，换句话说就是像不像人说的话。这个概率的计算可以先将句子进行分词，然后用   各个词的（条件）概率  求和来计算。

统计语言模型的参数就是每个概率值，长度为T的词组构成的句子的参数个数就是 T个

由于词库中的词数N很大，一个由长度为T的词组构成的句子的复杂度不计重复大小为： N^T , 在此基础上计算T个参数，那么复杂度就是TN^T

 

N-gram模型的复杂度为 N^n-1T，注意n的取值一般为3，而4,5计算量加大，提高并不明显

需要添加平滑机制

 

---

---

 

 

神经概率语言模型的参数为：W, p, U, q

 

 

 https://blog.csdn.net/itplus/article/details/37969979  word2vec详解！！！

转载于:https://www.cnblogs.com/the-wolf-sky/p/10496157.html