机器学习：逻辑回归与最大熵

一、概述

（1）最大熵模型

最大熵模型是概率模型的一个学习准则，可以应用于各种概率模型。

以条件概率分布模型为例：

模型：

也是优化策略，求解max Pw，得到参数w 

策略：

约束优化问题：

对偶形式的最优化问题。

同模型，求max Pw得到参数w。

 （2）逻辑回归

二项逻辑斯蒂回归模型：

多项逻辑斯蒂回归模型： 

优化算法：

求解下面似然函数的最大估计值，得到参数w

有了w使用模型分别计算出两个类别的概率值，得到分类结果。 

二、主要内容

（1）最大熵

最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。

//=================补充====