自然语言处理数学基础--《自然语言理解》笔记

        自然语言处理的二种的基本方法：基于规则的分析方法，基于语料库的统计方法。

        这一部分，主要是概率论基础，这一部分因为平时用的比较多，我就直接把这部分的讲义传网盘算了。看这一部分的内容的同时，发现自己的知识缺失点，主要在统计检验这个地方。

在这个地方，我对抽象事件描述的能力有所不足，经常不用，把这个建模的思想丢掉了，需要重新进行拾起。

        这一部分的知识有欠缺，相对熵是对于二个分布而言，用来度量二个分布之间的差别，也叫做KL距离。

         交叉熵这也有欠缺。

交叉熵，用于描述估计模型的分布于真实的分布之间的差异情况。

困惑度与交叉熵相关，用来度量语言模型的好坏。