最大熵模型及Python实现

1. 最大熵模型

1.1 熵 

熵的概念源自于热力学，在热力学中，熵为所有可能状态数的对数值，可以表示分子的混乱程度。将热力学中熵的概念引入到随机变量的分布中，则随机变量的熵度量了其不确定性的程度。
数学表达如下：

1.2 最大熵原理 

最大熵原理指在满足约束的条件下，熵最大的模型是最优的模型。可以这样理解，”满足约束“说明该模型体现了所有已知信息，”熵最大“说明该模型的不确定性最大，即最大程度上保留了未知信息。综合来说，熵最大的模型对整体信息刻画的最好，所以认为是最优的模型。

1.3最大熵模型

最大熵模型就是最大熵原理在分类问题中的应用。