NLP学习

与概率论有关

1.二项式分布：放回抽取

  超几何分布：不放回抽取

2.熵越大，随机变量越不确定

3.形式语法----最左推导，最右推导

4.n元语法：p(wn|w1.........wn-1)的最大似然估计(MLF)

5.数据平滑：解决因为数据缺乏的情况下引入的几种常用的平滑度算法

6.自适应输入表示将词向量根据词频进行分组，并依次逐步减少低频词向量的容量。一方面既改善了准确率；另一方面也极大地减少了模型参的数量

7.马尔可夫模型：

8.贝叶斯网络：