自然语言处理基础（4）--数据平滑技术

        n元语法模型中，在统计结果中出现了零概率事件反映语言的规律性，即这种现象本来就不该出现，但更多的时候是由于语言模型的训练文本T的规模以及其分布存在着一定的局限性和片面性。这就是所谓的“数据稀疏”问题。

        所谓“数据平滑技术”，是指为了产生更准确的概率来调整最大似然估计的技术，基本思想就是提高低概率（如零概率），降低低概率，尽量使概率分布趋于平均。

     1.Laplace法则

        每个实例（分子）的出现次数都加1（或者其他数值），从而所有实例出现次数都不会为0,，为了保证所有实例的概率总和为1，将分母增加实例的种类数；即：

                                                                    

      2.Good-Turing估计

        基本思想是：对于任何一个发生r次的n-gram，都假设它发生r*次，即：