《数学之美》第20章 不要把鸡蛋都放到一个篮子里--谈谈最大熵模型

1 最大熵原来和最大熵模型

    保留全部的不确定性，将风险降到最小。

    最大熵原理指出，第一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而应对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们把这种模型叫做“最大熵模型”。

    对任何一组不自相矛盾的信息，这个最大熵模型不仅存在，而且时唯一的。

    最大熵模型在形式上是最漂亮、最完美的统计模型，在自然语言处理和金融方面都有很多有趣的应用。

2 最大熵模型的训练

    最原始的最大熵模型的训练方法是一种称为通用迭代算法GIS的迭代算法。

        1. 假定第零次迭代的初始模型为等概率的均匀分布。

        2. 用第N次迭代的模型来估算每种信息特征在训练数据中的分布。如果超过了实际的，就把相应的模型参数变小。否则，将它们变大。

        3. 重复步骤2，直到收敛。

    最大熵模型，可以说是集简繁于一体：形式简单，实现复杂。