最大熵原理

1. 最大熵原理

   最大熵原理是概率模型学习的一个准则，其认为学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。

   通常用约束条件来确定概率模型的集合，然后在集合中选择熵最大的模型。

   直观地，最大熵原理认为要选择的概率模型首先必须满足已有的事实，即约束条件。在没有更多信息的情况下，那些不确定的部分都是等可能的。最大熵原理通过熵的最大化来表示等可能性，因为当X服从均匀分布时熵最大。

2. 最大熵模型

   最大熵原理应用到分类得到最大熵模型。

   给定训练集 T = ( x 1 , y 1 ) , ( x