最大熵模型

熵

熵(entropy)是热力学中的概念，由香浓引入到信息论中。在信息论和概率统计中,熵用来表示随机变量不确定性的度量。
设 X ∈ { x 1 , x 2 , . . . , x n } X\in\{x_1,x_2,...,x_n\} X∈{x1​,x2​,...,xn​}为一个离散随机变量，其概率分布为$p(X=x_i)=p_i,i=1,2,...,n$，则$X$的熵为$$H(X)=-\sum _{i=1}^n{p}_i\log p_i,当p_i=0时，定义0\log 0=0$$
$H(X)$越大，表示$X$不确定性越大。

条件熵

设 X ∈ { x 1 , x 2 , . . . , x n } X\in\{x_1,x_2,...,x_n\} X∈{x1​,x2​,...,xn​}， Y ∈ { y 1 , y 2 , . . . , x m } Y\in\{y_1,y_2,...,x_m\} Y∈{y1​,y2​,...,xm​}为离线随机变量，在已知$X$的条件下，$Y$的条件熵(conditional entropy)定义为：
$$H(Y|X)=\sum _{i=1}^{n}p(x_i)H(Y|X=x_i)=-\sum _{i=1}^{n}p(x_i)\sum _{j=1}^{m}p(y_j|x_i)\log p(y_j|x_i)$$
表示已知$X$的条件下，$Y$的条件概率分布的熵对$X$的数学期望。

最大熵模型

假设分类模型是一个条件概率分布$P(Y|X)$，$X$表示输入，$Y$表示输出。这个模型表示的是对于给定的输入$X$，以条件概率$P(Y|X)$输出$Y$。
给定一个训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},我们的目标就是利用最大熵原理选择最好的分类模型。最大熵模型包含两部分：熵和约束条件。关于约束，从训练数据T中抽取若干特征，然后要求这些特征在训练集$T$上关于经验分布的期望与它们在模型中关于$p(x,y)$的数学期望相等，这样，一个特征就对应一个约束。

经验分布

经验分布是指通过训练数据T上进行统计得到的分布。我们需要考察两个经验分布,分别是$x,y$的联合经验分布以及$x$的分布。其定义如下:
$$\tilde{p}(x)=\frac{count(x)}{N},\tilde{p}(x,y)=\frac{count(x,y)}{N}$$

约束条件

对于任意的特征函数$f$，记$E_{\tilde{p}}(f)$ 表示f在训练数据T上关于$p(x,y)$的数学期望。
$E_p(f)$ 表示f在模型上关于p(x,y)的数学期望。按照期望的定义,有:
$$\begin{gathered} E_{\tilde{p}}(f)=\sum _{x,y}\tilde{p}(x,y)f(x,y) \\ {E}_p(f)=\sum _{x,y}p(x,y)f(x,y) \end{gathered}$$
我们需要注意的是$p(x,y)$是未知的。并且我们建模的目标是$p(y|x)$，因此我们利用Bayes定理得到$p(x,y)=p(x)p(y|x)$。
此时，$p(x)$也还是未知，我们可以使用经验分布得到$\tilde{p}(x)$对$p(x)$进行近似。
$$E_p(f)=\sum _{x,y}\tilde{p}(x)p(y|x)f(x,y)$$
对于概率分布$p(y|x)$，我们希望特征$f$的期望应该和从训练数据中得到的特征期望是一样的。因此,可以提出约束：
$$\begin{gathered} E_p(f)=E_{\tilde{p}}(f) \\ \sum _{x,y}\tilde{p}(x)p(y|x)f(x,y)=\sum _{x,y}\tilde{p}(x,y)f(x,y) \end{gathered}$$
假设从训练数据抽取了n个特征，则有n个特征函数和n个约束条件
$$C_i:E_p(f_i)=E_{\tilde{p}}(f_i)={\tau }_i$$

最大熵模型

已知特征函数和约束条件，我们将熵的概念应用到条件分布上面去。
$$H(p(y|x))=-\sum _{x,y}\tilde{p}(x)p(y|x)\log p(y|x)$$
至此，我们可以给出最大熵模型的完整描述：
对于给定的数据集$T$，特征函数$f_i(x,y),i=1,\dots ,n$，最大熵模型就是求解模型集合C中条件熵最大的模型。
$$\begin{gathered} mi{n}_{p\in C}-H(p)=\sum _{x,y}\tilde{p}(x)p(y|x)\log p(y|x) \\ s.t.\sum _{x,y}\tilde{p}(x)p(y|x)f_i(x,y)={\tau }_i \\ \sum _{y}p(y|x)=1 \end{gathered}$$

求解最大熵模型

最大熵模型的学习过程就是求解最大熵模型的过程。求解约束最优化问题所得的解就是最大熵模型学习的解。
利用拉格朗日乘子法将最大熵模型由一个带约束的最优化问题转化为一个与之等价的无约束的最优化问题，它是一个min max问题。
利用拉格朗日对偶问题的等价性，将原始问题转换为一个max min问题。即：
$$mi{n}_{p\in C}ma{x}_{\lambda }L(p,\lambda )=>ma{x}_{\lambda }mi{n}_{p\in C}L(p,\lambda )$$

极小值问题求解

$$\begin{gathered} \Psi (\lambda )=mi{n}_{p\in C}L(p,\lambda )=L(p_{\lambda ,\lambda }) \\ {p}_{\lambda }=argmi{n}_{p\in C}L(p,\lambda ) \end{gathered}$$
组合拉格朗日函数
$$\begin{gathered} L(p,\lambda )=-H(p)+{\lambda }_0(1-\sum _{x,y}p(y|x))\tilde{p}(x))+\sum _{i=1}^n{\lambda }_i(E_{\tilde{p}}(f_i)-E_p(f_i)) \\ =\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)+{\lambda }_0(1-\sum _{x,y}P(y|x)\tilde{P}(x))+\sum _{i=1}^n{\lambda }_i(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)p(y|x)f_i(x,y)) \end{gathered}$$

$L(p,\lambda )$关于$P(y|x)$的偏导
$$\begin{gathered} \frac{\partial L}{\partial P(y|x)}=\tilde{P}(x)(\log P(y|x)+1)-{\lambda }_0\tilde{P}(x)-\tilde{P}(x)\sum _{i=1}^n{\lambda }_i{f}_i(x,y) \\ =\tilde{P}(x)(\log P(y|x)+1-{\lambda }_0-\sum _{i=1}^n{\lambda }_i{f}_i(x,y)) \end{gathered}$$
令上式等于0，由$\tilde{P}(x)>0$，得
$$\log P(y|x)+1-{\lambda }_0-\sum _{i=1}^n{\lambda }_i{f}_i(x,y)=0$$
解得，
$$P(y|x)=\frac{{\exp }^{({\sum }_{i=1}^n{\lambda }_i{f}_i(x,y))}}{{\exp }^{1-{\lambda }_0}}$$
由${\sum }_y(P(y|x))=1$得
$$\begin{gathered} \sum _{y}P(y|x)=\frac{{\sum }_y\exp ({\sum }_{x=1}^n{\lambda }_i{f}_i(x,y))}{\exp (1-{\lambda }_0)}=1 \\ \exp (1-{\lambda }_0)=\sum _y\exp (\sum _{x=1}^n{\lambda }_i{f}_i(x,y)) \end{gathered}$$
得
$$P(y|x)=\frac{\exp ({\sum }_{i=1}^n{\lambda }_i{f}_i(x,y))}{{\sum }_y\exp ({\sum }_{i=1}^n{\lambda }_i{f}_i(x,y))}$$

极大值问题求解

得到内部极小问题的$p$后，进一步求解外层的极大值问题：$ma{x}_{\lambda }\Psi (\lambda )$
$${\lambda }^{\ast }=argma{x}_{\lambda }\Psi (\lambda )(x)$$
将$\log p_{\lambda }(y|x)={\sum }_{i=1}^n{\lambda }_i{f}_i(x,y)-\log Z_{\lambda }$带入求解
$$\begin{gathered} \Psi (\lambda )=L(p_{\lambda ,\lambda }) \\ =\sum _{x,y}\tilde{p}(x)p_{\lambda }(y|x)\log p_{\lambda }(y|x)+\sum _{i=1}^n\lambda {}_i({\tau }_i-\sum _{x,y}\tilde{p}(x)p_{\lambda }(y|x)f_i(x,y)) \\ =\sum _{i=1}^n{\lambda }_i{\tau }_i+\sum _{x,y}\tilde{p}(x)p_{\lambda }(y|x)(\log p_{\lambda }(y|x))-\sum _{i=1}^n{\lambda }_i{f}_i(x,y)) \\ =\sum _{i=1}^n{\lambda }_i{\tau }_i-\sum _{x,y}\tilde{p}(x)p_{\lambda }(y|x)\log Z_{\lambda }(x) \\ =\sum _{i=1}^n{\lambda }_i{\tau }_i-\sum _x\tilde{p}(x)\log Z_{\lambda }(x)\sum _y{p}_{\lambda }(y|x) \\ =\sum _{i=1}^n{\lambda }_i{\tau }_i-\sum _x\tilde{p}(x)\log Z_{\lambda }(x) \end{gathered}$$
这里特征期望${\tau }_i={\sum }_{x,y}\tilde{p}(x,y)f_i(x,y)$对于给定的训练集为一个常数。

极大似然估计

下面证明一下在求得极小值后，极大值的求解就是$p(y|x)$的对数似然最大化。
似然函数 $$L(p_{\lambda })=\prod _{x,y}{p}_{\lambda }(y|x)$$
求解上式似然函数等价于求解$$L_{\tilde{p}}(p_{\lambda }(y|x))=\log (\prod _{x,y}{p}_{\lambda }(y|x{)}^{\tilde{p}(x,y)})=\sum _{x,y}\tilde{p}(x,y)\log p_{\lambda }(y|x)$$
将$\log p_{\lambda }(y|x)={\sum }_{i=1}^n{\lambda }_i{f}_i(x,y)-\log Z_{\lambda }$带入求解
$$\begin{gathered} L_{\tilde{p}}(p_{\lambda }(y|x))=\sum _{x,y}\tilde{p}(x,y)(\sum _{i=1}^n{\lambda }_i{f}_i(x,y)-\log Z_{\lambda }(x)) \\ =\sum _{i=1}^n{\lambda }_i\sum _{x,y}\tilde{p}(x,y)f_i(x,y)-\sum _{x,y}\tilde{p}(x,y)\log Z_{\lambda }(x) \\ =\sum _{i=1}^n{\lambda }_i{\tau }_i-\sum _x\tilde{p}(x)\log Z_{\lambda }(x) \end{gathered}$$
与上面极大值问题求解式子一样，从最大熵的思想出发得出的最大熵模型，最后的最大化求解就是在求$P(y|x)$的对数似然最大化。逻辑回归也是在求条件概率分布关于样本数据的对数似然最大化。二者唯一的不同就是条件概率分布的表示形式不同。

最大熵模型与逻辑回归的关系

假设当前一个最大熵模型类别$y$的取值只有两个$y_0,y_1$，输入的$x$有$n$种取值，定义$n$个特征函数：
$$f_i(x,y)=\{\begin{array}{ll}{x}_i,& \text{if y=y1}\\ 0,& \text{else}\end{array}$$
则对于$y_1$
$$p(y_1|x)=\frac{\exp {\sum }_{i=1}^n{w}_i{x}_i}{1+\exp {\sum }_{i=1}^n{w}_i{x}_i}$$
对于$y_0$
$$p(y_0|x)=\frac{1}{1+\exp {\sum }_{i=1}^n{w}_i{x}_i}$$
这就是逻辑回归！

连续性最大熵模型的一些例子

我们将上述的条件最大熵模型简化为一般的最大熵模型，求解概率$p(x)$，则最大熵模型为
$$L(p(x),\lambda )-\int p(x)\log p(x)dx-{\lambda }_0(\int p(x)dx-1)-{\lambda }_1(\int p(x)f_1(x)dx-{\tau }_1)-\cdots -{\lambda }_k(\int p(x)f_k(x)dx-{\tau }_k)$$
求解：
$$\frac{\partial L(p(x),\lambda )}{\partial p(x)}=[\log p(x)+1]+{\lambda }_0+{\lambda }_1{f}_1(x)+{\lambda }_2{f}_2(x)+\cdots +{\lambda }_k{f}_k(x)=0$$
与上述离散的结果类似，利用$\int p(x)dx=1$，解得：
$$\begin{gathered} p(x)=\frac{1}{Z}\exp (-\sum _{i=1}^k{\lambda }_i{f}_i(x)) \\ Z=\int \exp (-{\lambda }_i{f}_i(x))dx \end{gathered}$$
需要将$p(x)$带入
$$\int p(x)f_i(x)dx-{\tau }_i=0,i=1,2,\dots ,k$$
求解各个参数${\lambda }_i$

指数分布

考虑只有一个约束条件$\int p(x)x=\tau (x\ge 0)$，即均值为$\tau$
$$p(x)=\frac{1}{Z}\exp (-\lambda x)$$
归一化因子$Z={\int }_0^{\infty }\exp (-\lambda x)dx=\frac{1}{\lambda }$
根据约束条件求解:
$$\tau ={\int }_0^{\infty }\lambda \exp (-\lambda x)xdx=\frac{1}{\lambda }$$
所以得到指数分布
$$p(x)=\frac{1}{\tau }\exp (-\frac{x}{\tau })$$

正太分布

考虑两个约束条件 $\int p(x)x={\tau }_1,\int p(x)x^2={\tau }_2$，即已知均值和方差，则$$p(x)=\frac{1}{Z}\exp (-{\lambda }_{1}x-{\lambda }_2{x}^2)$$
归一化因子
$$\begin{array}{rl}{\int }_{-\infty }^{\infty }\exp \left(-{\lambda }_{1}x-{\lambda }_2{x}^2\right)dx& ={\int }_{-\infty }^{\infty }\exp [-{\lambda }_2{\left(x+\frac{{\lambda }_1}{2{\lambda }_2}\right)}^2+\frac{{\lambda }_1^2}{4{\lambda }_2}]dx\\ & =\exp \left(\frac{{\lambda }_1^2}{4{\lambda }_2}\right){\int }_{-\infty }^{\infty }\exp \left(-{\lambda }_2{t}^2\right)dt\\ & =\sqrt{\frac{\pi }{{\lambda }_2}}\exp \left(\frac{{\lambda }_1^2}{4{\lambda }_2}\right)\end{array}$$
概率密度函数
$$p(x)=\sqrt{\frac{{\lambda }_2}{\pi }}\exp \left(-\frac{{\lambda }_1^2}{4{\lambda }_2}\right)\exp \left(-{\lambda }_{1}x-{\lambda }_2{x}^2\right)$$
两个约束
$$\begin{array}{rl}& {\tau }_1={\int }_{-\infty }^{\infty }\sqrt{\frac{{\lambda }_2}{\pi }}\exp \left(-\frac{{\lambda }_1^2}{4{\lambda }_2}\right)\exp \left(-{\lambda }_{1}x-{\lambda }_2{x}^2\right)xdx=-\frac{{\lambda }_1}{2{\lambda }_2}\\ & {\tau }_2={\int }_{-\infty }^{\infty }\sqrt{\frac{{\lambda }_2}{\pi }}\exp \left(-\frac{{\lambda }_1^2}{4{\lambda }_2}\right)\exp \left(-{\lambda }_{1}x-{\lambda }_2{x}^2\right)x^{2}dx=\frac{{\lambda }_1^2+2{\lambda }_2}{4{\lambda }_2^2}\end{array}$$
将结果带入概率密度函数
$$p(x)=\sqrt{\frac{1}{2\pi ({\tau }_2-{\tau }_1^2)}}\exp \left(-\frac{(x-{\tau }_1{)}^2}{2({\tau }_2-{\tau }_1^2)}\right)\text{\hspace{1em}(36)}$$
这里${\tau }_2-{\tau }_1^2$正好是方差，因此结果正好是均值为${\tau }_1$、方差为${\tau }_2-{\tau }_1^2$的正态分布！！这又成为了正态分布的一个来源！

参考

“熵”不起：从熵、最大熵原理到最大熵模型（二）
李航《统计学习方法》最大熵模型p(y|x)推导的正确过程
最大熵模型
详解最大熵模型
简易解说拉格朗日对偶（Lagrange duality）