机器学习模型（二）最大熵模型与逻辑斯蒂回归模型

先给结果：

最大熵模型和逻辑斯蒂回归没有实质性的区别，他们都是对数线性模型

解释:

逻辑斯蒂回归是对于二分类问题的概率模型，最大熵将相同的原理推广到了多酚类

对于这两个模型，我们都希望有条件概率：

其中y为目标函数，x是特征向量

逻辑斯蒂回归利用了二项分布：

其中：

于是：

有对数似然函数：

求偏导：

 

而最大熵模型使用多项式分布：

其中：

于是：

 

对数似然函数：(LOSS Function)

求偏导：

 

总结：

 

实际上二项式分布的最大熵解就是如上的假设函数(sigmod function)

而多项式分布最大熵的解就是如上假设函数（softmax function）

 

两者都满足最大熵原理，是最大熵模型的极大似然估计，只是假设的分布不同

对于逻辑斯蒂回归，要推广到多类分类，可以引入多项式，使用交叉熵作为损失函数，亦即最大熵模型

————————————————————————————————————————————————————————————————

公式截图和格式稍后补充