[Python嗯~机器学习]---最大熵模型和多分类

最大熵模型和多分类

熵可以看做是用来描述信息量的。最大熵模型属于运用最大熵原理的多分类模型。

熵是随机变量不确定性的度量，不确定性越大，熵越大。

给定一定条件的最大熵：
在给定期望和方差的基础上，均匀分布的熵最大。

带约束的极值问题，用拉格朗日函数来解决。

最大熵模型

给定约束条件的求极值问题，用拉格朗日函数函数求解。

总结：



最大熵模型和logistic回归：

逻辑回归就是在给定情况之下，熵最大的一种分类。

我们从最大熵的思想出发得出的最大熵模型，最后的最大化求解就是在求P(y|x)的对数似然最大化。逻辑回归也是在求条件概率分布关于样本数据的对数似然最大化。二者唯一的不同就是条件概率分布的表示形式不同。

逻辑回归是最大熵模型的一种特殊情况。