最大熵模型-Max Entropy Model

最大熵模型-Max Entropy Model - 知乎 (zhihu.com)

最大熵模型 Maximum Entropy Model - ooon - 博客园 (cnblogs.com)

给定输入输出样本并给定特征期望这个约束后，求最大熵模型的过程等价于求这些样本的最大似然估计量所对应的分布。从而最大熵分布就是最大似然估计量所对应的分布，即在最大熵分布下这些样本出现的概率最大。

对一个随机事件的概率分布进行预测时，预测应当满足全部已知的约束，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小，因此得到的概率分布的熵是最大。

在学习概率模型时，所有可能的模型中熵最大的模型是最好的模型；若概率模型需要满足一些约束，则最大熵原理就是在满足已知约束的条件集合中选择熵最大模型。

事件的概率越小则事件的不确定性就高，即信息量越高。