《数学之美》第二十章——谈谈最大熵模型

1 最大熵原理和最大熵模型

最大熵原理指出：

1. 对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。
2. 概率分布最均匀的时候，预测的风险最小。
3. 当我们遇到不确定性时，就要保留各种可能性。

匈牙利著名数学家希萨证明，对任何一组不自相矛盾的信息，这个最大熵模型不仅存在，而且是唯一的。此外，它们都有同一个非常简单的形式——指数函数.