最大熵模型求解

上一篇文章中详细介绍最大熵模型，这里我们讲一下其求解
最大熵模型的求解可以形式化为约束最优化问题：
$$\begin{array}{c}maxH(P)=-{\sum }_{x,y}\tilde{P}(x)P(y|x)logP(y|x)\\ P\in C\end{array}$$ 约束$$s.t.\begin{array}{c}{E}_P(f_i)=E_{\tilde{P}}(f_i)，i=1,2,3..n\\ {\sum }_{y}P(y|x)=1\end{array}$$
改为求解最小值问题：
$$\begin{array}{c}min-H(P)={\sum }_{x,y}\tilde{P}(x)P(y|x)logP(y|x)\\ P\in C\end{array}$$
使用拉格朗日乘子法来解决这个问题，引入拉格朗日乘子${\lambda }_0,{\lambda }_1,{\lambda }_2...{\lambda }_n$,定义拉格朗日函数为$L(P,\lambda )$：
$$L(P,\lambda )=-H(P)+{\lambda }_0\left(1-\sum _{y}P(y|x)\right)+\sum _{i=1}^n{\lambda }_i\left(E_{\tilde{P}}(f_i)-E_P(f_i)\right)$$带入上一篇文章$E_{\tilde{P}}(f)={\sum }_{x,y}\tilde{P}(x,y)f(x,y)$和$E_p(f)={\sum }_{x,y}\tilde{P}(x)P(y|x)f(x,y)$有：
$$\begin{array}{c}L(P,\lambda )={\sum }_{x,y}\tilde{P}(x)P(y|x)logP(y|x)+{\lambda }_0\left(1-{\sum }_{y}P(y|x)\right)\\ +{\sum }_{i=1}^n{\lambda }_i\left({\sum }_{x,y}\tilde{P}(x,y)f_i(x,y)-{\sum }_{x,y}\tilde{P}(x)P(y|x)f_i(x,y)\right)\end{array}$$
最优化的原始问题是：$$\begin{array}{c}minmaxL(P,\lambda )\\ P\in C\lambda \end{array}$$
为甚么这个优化问题要先求max再求min，因为条件中有
$E_P(f_i)-E_{\tilde{P}}(f_i)=0$和${\sum }_{y}P(y|x)-1=0$，若不满足这两个条件那么$L(P,\lambda )$可能趋于无穷大或无穷小。或者可以这样理解，我们最终是要求最小值，而这个最小值应该是尽量大范围内的最小值，所以应该先求最大值，然后再求最小值。
对偶问题：
$$\begin{array}{c}maxminL(P,\lambda )\\ \lambda P\in C\end{array}$$
这里先求min，对$L(P,\lambda )$求$P(y|x)$的偏导数：
$$\begin{array}{c}\frac{\partial L(P,\lambda )}{\partial P(y|x)}={\sum }_{x,y}\tilde{P}(x)(logP(y|x)+1)-{\sum }_y({\lambda }_0)-{\sum }_{x,y}(\tilde{P}(x){\sum }_{i=1}^n{\lambda }_i{f}_i(x,y))\\ ={\sum }_{x,y}\tilde{P}(x)\left(logP(y|x)+1-{\lambda }_0-{\sum }_{i=1}^n{\lambda }_i{f}_i(x,y)\right)\end{array}$$令偏导数等于0，解得：$$P(y|x)=exp(\sum _{i=1}^n{\lambda }_i{f}_i(x,y)+{\lambda }_0-1)=\frac{exp({\sum }_{i=1}^n{\lambda }_i{f}_i(x,y))}{exp(1-{\lambda }_0)}（1）$$由于${\sum }_{y}P(y|x)=1$得$$P_{\lambda }(y|x)=\frac{1}{Z_{\lambda }(x)}\left(exp(\sum _{i=1}^n{\lambda }_i{f}_i(x,y))\right)$$其中，$$Z_{\lambda }(x)=\sum _{y}exp(\sum _{i=1}^n{\lambda }_i{f}_i(x,y))$$称为规范化因子。将求得的$P_{\lambda }(y|x)$带入$L(P,\lambda )$中就是内部的最小化结果$L(P_{\lambda },\lambda )$。将求min的结果表示为：
$$\Psi (\lambda )=\begin{array}{c}minL(P,\lambda )=L(P_{\lambda },\lambda )\\ P\in C\end{array}$$称为对偶函数。将其解记为：
$$P_{\lambda }=\begin{array}{c}argminL(P,\lambda )=P_{\lambda }(y|x)\\ P\in C\end{array}$$
这一步的推导如下：
对（1）式两边同时加上${\sum }_y$:$$\sum _{y}P(y|x)=\sum _y\frac{exp({\sum }_{i=1}^n{\lambda }_i{f}_i(x,y))}{exp(1-{\lambda }_0)}$$,由于${\sum }_{y}P(y|x)=1$，所以上式得：$$1=\sum _y\frac{exp({\sum }_{i=1}^n{\lambda }_i{f}_i(x,y))}{exp(1-{\lambda }_0)}$$此时分子和y无关，所以可以解出：$$exp(1-{\lambda }_0)=\sum _{y}exp(\sum _{i=1}^n{\lambda }_i{f}_i(x,y))$$带入（1）式中，这就是这一步的推导。
接下来就是外部的极大化问题:$$\begin{array}{c}max\Psi (\lambda )\\ \lambda \end{array}$$,将其解记为${\lambda }^{\ast }$：$${\lambda }^{\ast }=\begin{array}{c}argmax\Psi (\lambda )\\ \lambda \end{array}$$将求得的$P_{\lambda }(y|x)$带入$L(P,\lambda )$中就是内部的最小化结果$L(P_{\lambda },\lambda )$:$$\begin{array}{c}\Psi (\lambda )=L(P_{\lambda },\lambda )={\sum }_{x,y}\tilde{P}(x)P_{\lambda }(y|x)log{P}_{\lambda }(y|x)\\ +{\sum }_{i=1}^n{\lambda }_i\left({\sum }_{x,y}\tilde{P}(x,y)f_i(x,y)-{\sum }_{x,y}\tilde{P}(x)P_{\lambda }(y|x)f_i(x,y)\right)\\ ={\sum }_{x,y}\tilde{P}(x,y){\sum }_{i=1}^n{\lambda }_i{f}_i(x,y)+{\sum }_{x,y}\tilde{P}(x)P_{\lambda }(y|x)(log{P}_{\lambda }(y|x)-{\sum }_{i=1}^n{\lambda }_i{f}_i(x,y))\\ ={\sum }_{x,y}\tilde{P}(x,y){\sum }_{i=1}^n{\lambda }_i{f}_i(x,y)-{\sum }_{x,y}\tilde{P}(x)P_{\lambda }(y|x)log{Z}_{\lambda }(x)\\ ={\sum }_{x,y}\tilde{P}(x,y){\sum }_{i=1}^n{\lambda }_i{f}_i(x,y)-{\sum }_x\tilde{P}(x)log{Z}_{\lambda }(x)(2)\end{array}$$由于求$P_{\lambda }(y|x)$使用${\sum }_{y}P(y|x)=1$所以${\lambda }_0\left(1-{\sum }_{y}P(y|x)\right)$就没有了。
以上就是对偶函数的表示，下面证明其与最大熵模型的极大似然估计(这篇文章中有讲极大似然估计)等价。已知训练数据的经验概率分布$\tilde{P}(x,y)$，则条件概率分布$P(Y|X)$的对数似然函数表示为：$$L_{\tilde{P}}(P)=log\prod _{x,y}P(y|x{)}^{\tilde{P}(x,y)}=\sum _{x,y}\tilde{P}(x,y)logP(y|x)$$,带入$P_{\lambda }$有:$$\begin{array}{c}{L}_{\tilde{P}}(P_{\lambda })={\sum }_{x,y}\tilde{P}(x,y)log{P}_{\lambda }(y|x)\\ ={\sum }_{x,y}\tilde{P}(x,y){\sum }_{i=1}^n{\lambda }_i{f}_i(x,y)-{\sum }_{x,y}\tilde{P}(x,y)log{Z}_{\lambda }(x)\\ ={\sum }_{x,y}\tilde{P}(x,y){\sum }_{i=1}^n{\lambda }_i{f}_i(x,y)-{\sum }_x\tilde{P}(x)log{Z}_{\lambda }(x)\end{array}$$这里也使用${\sum }_{y}P(y|x)=1$。可以看出：$$\Psi (\lambda )=L_{\tilde{P}}(P_{\lambda })$$所以最大熵模型的求解最终就是求解对数似然函数极大化或是对偶函数极大化。

下面我们用**梯度下降（SGD）**的方法求解这个优化，由于对数似然函数极大化与对偶函数极大化等价，所以我们就直接对对数似然函数$L_{\tilde{P}}(P_{\lambda })={\sum }_{x,y}\tilde{P}(x,y)log{P}_{\lambda }(y|x)$求导，可得：
$$\frac{\partial log{P}_{\lambda }}{\partial {\lambda }_i}=\sum _{x,y}{f}_i(x,y)-\sum _{x,y}\sum _{y^{\prime }}P(y^{\prime }|x,\lambda )f_i(x,y^{\prime })$$
可以看出梯度等于训练数据分布的特征期望与模型特征期望的差。当梯度为0时，得到的概率分布刚好满足约束条件（这一部分可以看参考书3 $P_{353}$）。

参考书1：概率论与数理统计 浙江大学 第四版
参考书2：统计学习方法 李航
参考书3：强化学习精要：核心算法与TensorFlow实现