机器学习——最大熵模型

最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximum entropy model）。 逻辑回归和最大熵模型都属于对数线性回归。

最大熵原理

最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。
假设离散随机变量$X$的概率分布是$P(X)$，则其熵是
$$H(P)=-\sum _{x}P(x)\log P(x)$$
熵满足下列不等式:
$$0⩽H(P)⩽\log |X|$$
式中，$|X|$是$X$的取值个数，当$X$服从均匀分布时，熵最大。

最大熵模型

训练集的联合分布和边缘分布分别以$\tilde{P}(X,Y)$和$\tilde{P}(X)$来表示：
$$\begin{array}{l}\tilde{P}(X=x,Y=y)=\frac{\nu (X=x,Y=y)}{N}\\ \tilde{P}(X=x)=\frac{\nu (X=x)}{N}\end{array}$$
用特征函数（feature function）$f(x,y)$来描述输入$x$和输出$y$之间的某一个事实，其定义是：
$$f(x,y)=\{\begin{array}{ll}1,& x\text{ 与 }y\text{ 满足某一事实 }\\ 0,& \text{ 否则 }\end{array}$$
特征函数$f(x,y)$关于经验分布$\tilde{P}(X,Y)$的期望值，表示成$E_{\tilde{P}}(f)={\sum }_{x,y}\tilde{P}(x,y)f(x,y)$
特征函数$f(x,y)$关于模型$P(Y\mid X)$与经验分布$\tilde{P}(X)$的期望值，表示成$E_P(f)={\sum }_{x,y}\tilde{P}(x)P(y\mid x)f(x,y)$
那么我们就可以假设这两个期望值相等$E_P(f)=E_{\tilde{P}}(f)$，得到模型学习的约束条件。

条件概率分布$P(Y|X)$熵的条件熵为$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y\mid x)\log P(y\mid x)$$熵$H(P)$最大的模型称为最大熵模型。式中的对数为自然对数。

最大熵模型的学习

$$\begin{array}{ll}{\min }_{P\in \mathbf{C}}& -H(P)={\sum }_{x,y}\tilde{P}(x)P(y\mid x)\log P(y\mid x)\\ \text{ s.t. }& E_P\left(f_i\right)-E_{\tilde{P}}\left(f_i\right)=0,i=1,2,\cdots ,n\\ & {\sum }_{y}P(y\mid x)=1\end{array}$$