最大熵模型

最大熵理论及应用

1. 信息论预备知识

1. 信息熵

在物理界，熵是描述事物无序性的参数，熵越大则越混乱。类似的，在信息论中，熵表示随机变量的不确定程度。

给定随机变量 $X$ ，其取值为 $x_1,x_2,\cdots ,x_m$ ，则信息熵为：
$$H(X)=\sum _{i=1}^{m}p(x_i)\cdot \log \frac{1}{p(x_i)}=-\sum _{i=1}^{m}p(x_i)\cdot \log p(x_i)$$

熵越大，事件越不确定。熵等于 0，事件是确定的。

例如：抛硬币
$p(head)=0.5，p(tail)=0.5$
$H(p)=-0.5\ast {\log }_2(0.5)+(-0.5\ast {\log }_2(0.5))=1$
说明：熵值最大，正反面的概率相等，事件最不确定。

---

最大熵理论
在外力作用下，事物总是朝着最混乱的方向发展。事物是约束和自由的统一体。事物总是在约束下争取最大的自由权，这其实也是自然界的根本原则。在已知条件下，熵最大的事物，最可能接近它的真实状态。

---

2. 条件熵

设 $X,Y$ 为两个随机变量， $X$ 的取值为 $x_1,x_2,\cdots ,x_m$ ， $Y$ 的取值为 $y_1,y_2,\cdots ,y_n$ ，则在已知的条件下 $Y$ 的条件熵记作 $H(Y|X)$ ：
$$\begin{gathered} H(Y|X)=\sum _{i=1}^{m}p(x_i)H(Y|X=x_i) \\ =-\sum _{i=1}^{m}p(x_i)\sum _{j=1}^{n}p(y_j|x_i)\log p(y_j|x_i) \\ =-\sum _{i=1}^m\sum _{j=1}^{n}p(y_j,x_i)\log p(y_j|x_i) \\ =-\sum _{x_i,y_j}p(x_i,y_j)\log p(y_j|x_i) \end{gathered}$$

2. 最大熵模型（ MaxEnt ）

最大熵模型是概率模型学习中一个准则，其思想为：在学习概率模型时，所有可能的模型中熵最大的模型是最好的模型；若概率模型需要满足一些约束，则最大熵原理就是在满足已知约束的条件集合中选择熵最大模型。即：对一个随机事件的概率分布进行预测，预测应当满足全部已知的约束，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小，因此得到的概率分布的熵是最大。

3. 最大熵模型的数学推导

3.1 特征函数

特征函数 $f(x,y)$ 描述 $x$ 与 $y$ 之间的某一事实，定义如下：
$$f(x,y)=\{\begin{array}{ll}1,& \text{ if x,y 满足某一事实 }\\ 0,& \text{ else }\end{array}$$
$f(x,y)$ 是一个二值函数。

3.2 约束条件

假设分类模型为条件概率分布 $P(y|x)$ ，训练集为 $T=(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$ 。则联合分布 $P(x,y)$ 的经验分布 $\tilde{P}(X,Y)$ 与边缘分布 $P(x)$ 的经验分布 $\tilde{P}(X)$ ：
$$\begin{gathered} \tilde{P}(X=x,Y=y)=\frac{count(X=x,Y=y)}{N} \\ \tilde{P}(X=x)=\frac{count(X=x)}{N} \end{gathered}$$
对于训练集特征 $i$ 的函数 $f_i(x,y)$ ，设：
$E_{\tilde{p}}(f)$ ：表示特征函数$f$在训练数据上关于 $\tilde{P}(x,y)$ 的数学期望，计算公式为：
$$E_{\tilde{p}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)=\frac{1}{N}\sum _{x,y}f(x,y)$$

$E_p(f)$ ：表示特征函数 $f$ 在模型上关于 $P(x,y)$ 的数学期望，计算公式为：
$$E_p(f)=\sum _{x,y}P(x,y)f(x,y)=\sum _{x,y}P(x)P(y|x)f(x,y)$$
由于 $P(x)$ 是未知的，所以使用 $\tilde{P}(x)$ 来近似表示，于是得：
$$E_p(f)=\sum _{x,y}P(x,y)f(x,y)=\sum _{x,y}P(x)P(y|x)f(x,y)\approx \sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$
最终我们需要求得的条件概率为：$P(y|x)$。

为了让模型拟合训练数据，我们需要让模型 $P(y|x)$ 关于函数 $f$ 的期望等于经验分布 $\tilde{P}(x,y)$ 关于 $f$ 的期望（这里就是约束条件），即 $E_p(f)=E_{\tilde{p}}(f)$：
$$\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$
给定 $n$ 个特征函数 $f_i(x,y)$ ，则有 $n$ 个约束条件，用 $C$ 表示满足约束的模型集合：
C = { P ∣ E p ( f i ) = E p ~ ( f i ) , I = 1 , 2 , ⋯   , n } C=\left \{P|E_{p}(f_{i})=E_{\tilde{p}}(f_{i}),I=1,2,\cdots,n \right \} C={P∣Ep​(fi​)=Ep~​​(fi​),I=1,2,⋯,n}
从满足约束模型集合 $C$ 中找到使得 $P(y|x)$ 的熵最大的即为 MaxEnt 模型了。

3.3 最大熵模型

关于分布 $P(y|x)$ 的熵为：（这里公式可由条件熵的定义公式得到）
$$H(P)=-\sum _{x,y}P(y,x)\log P(y|x)=-\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)$$
首先满足约束条件，然后使得熵最大即可， MaxEnt 模型 $P^{\ast }$ 为：
$$P^{\ast }=\arg \underset{P\in C}{\max }H(P)或P^{\ast }=\arg \underset{P\in C}{\min }-H(P)$$
综上：给出形式化的最大熵模型：

给定数据集 { ( x i , y i ) } i = 1 n \left \{ (x_{i},y_{i})\right \}_{i=1}^{n} {(xi​,yi​)}i=1n​ ，特征函数 $f_i(x,y),i=1,2,...,n$ ，根据经验分布得到满足约束集的模型集合 $C$ ：
$$\begin{gathered} \underset{P\in C}{\min }\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x) \\ s.t.E_p(f_i)=E_{\tilde{p}}(f_i)，\forall f_i \\ \sum _{y}P(y|x)=1，\forall x \end{gathered}$$

3.4 MaxEnt 模型的求解

MaxEnt 模型最后被形式化为带有约束条件的最优化问题，可以通过拉格朗日乘子法，将其转为无约束条件的最优化问题。

引入拉格朗日乘子：$w_0,w_1,...,w_n$（其中 $w_0$ 为 $(1-{\sum }_{y}P(y|x))$ 这一项约束的系数），定义拉格朗日函数 $L(P,w)$ :
$$\begin{gathered} L(P,w)=-H(P)+w_0\left(1-\sum _{y}P(y|x)\right)+\sum _{i=1}^n{w}_i\left(E_{\tilde{p}}(f_i)-E_p(f_i)\right) \\ =\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)+w_0\left(1-\sum _{y}P(y|x)\right)+\sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)p(y|x)f_i(x,y)\right) \end{gathered}$$
现问题转化为：$$\underset{P\in C}{\min }\underset{w}{\max }L(P,w)$$
为方便计算，将最小最大化问题转化为它的对偶问题：最大最小化问题：$$\underset{P\in C}{\min }\underset{w}{\max }L(P,w)=\underset{w}{\max }\underset{P\in C}{\min }L(P,w)$$

（1）先考虑对 $L$ 的最小化问题：
对 $P(y|x)$ 求偏导：
$$\begin{gathered} \frac{\partial L(P,w)}{\partial P(y|x)}=\sum _{x,y}\tilde{P}(x)\left(\log P(y|x)+1\right)-\sum _y{w}_0-\sum _{x,y}\left(\tilde{P}(x)\sum _{i=1}^n{w}_i{f}_i(x,y)\right) \\ =\sum _{x,y}\tilde{P}(x)\left(\log P(y|x)+1-w_0-\sum _{i=1}^n{w}_i{f}_i(x,y)\right) \end{gathered}$$

上式第一步推导到第二步中，根据 ${\sum }_x\tilde{P}(x)=1$ ，得 ${\sum }_y{w}_0={\sum }_{x,y}\tilde{P}(x)w_0$

令$\frac{\partial L(P,w)}{\partial P(y|x)}=0$，得：
$$\begin{gathered} \Rightarrow \\ P(y|x)=exp\left(\sum _{i=1}^n{w}_i{f}_i(x,y)+w_0-1\right)=\frac{exp\left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)}{exp(1-w_0)} \end{gathered}$$
记上述求得得最优解 $P(y|x)$ 为 $P_w(y|x)$ ，即：
$$P_w(y|x)=\frac{exp({\sum }_{i=1}^n{w}_i{f}_i(x,y))}{exp(1-w_0)}（得到对偶问题的极小解）$$
由之前的约束条件之一：${\sum }_y{P}_w(y|x)=1$
$$\begin{gathered} \Rightarrow \sum _y\frac{exp({\sum }_{i=1}^n{w}_i{f}_i(x,y))}{exp(1-w_0)}=\frac{1}{exp(1-w_0)}\sum _{y}exp\left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)=1 \\ \Rightarrow exp(1-w_0)=\sum _{y}exp\left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right) \end{gathered}$$
令 $Z_w(x)=exp(1-w_0)$ ， $Z_w(x)$ 称为规范化因子

得到MaxEnt模型：
$$P_w(y|x)=\frac{1}{Z_w(x)}exp\left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$
$$其中：Z_w(x)=exp(1-w_0)=\sum _{y}exp\left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$
将该最优解代入拉格朗日函数 $L(P,w)$ 得：
$$\begin{gathered} L(P,w)=\sum _{x,y}\tilde{P}(x)P_w(y|x)\log P_w(y|x)+w_0\left(1-\sum _y{P}_w(y|x)\right)+\sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)\right) \\ =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)+\sum _{x,y}\tilde{P}(x)P_w(y|x)\left(\log P_w(y|x)-\sum _{i=1}^n{w}_i{f}_i(x,y)\right) \\ =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}\tilde{P}(x)P_w(y|x)\log Z_w(x) \\ =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)\sum _y{P}_w(y|x) \\ =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x) \end{gathered}$$
其中，第二步推导到第三步，根据 $P_w(y|x)=\frac{1}{Z_w(x)}exp({\sum }_{i=1}^n{w}_i{f}_i(x,y))$
$$\begin{gathered} \Rightarrow \log P_w(y|x)+\log Z_w(x)=\sum _{i=1}^n{w}_i{f}_i(x,y) \\ \Rightarrow \log P_w(y|x)-\sum _{i=1}^n{w}_i{f}_i(x,y)=-\log Z_w(x) \end{gathered}$$
其中，最后一步，根据 ${\sum }_y{P}_w(y|x)=1$ 得到。

（2）现开始求对偶函数最大时参数的值：
将 ${\min }_{P\in C}L(P,w)$ 看成是关于 $w$ 的函数，设：
$$\begin{gathered} \Psi (w)=\underset{P\in C}{\min }L(P,w)=L(P_w,w) \\ \Rightarrow \Psi (w)=-\sum _x\tilde{P}(x)\log Z_w(x)+\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y) \end{gathered}$$
现需求：$$\begin{gathered} \underset{w}{\max }\Psi (w) \\ =\underset{w}{\max }\left(\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)\right) \end{gathered}$$ （原问题转化至此）

---

上式属于对数线性模型，因为其包含指数函数，所以几乎不可能有解析解。因此需要借助于数值的方法，可以使用的方法有：
（1）通用迭代尺度法（ GIS：Generalized Iterative Scaling ）；
（2）改进的迭代尺度法（ IIS：Improved Iterative Scaling ）；
（3）梯度下降算法；
（4）拟牛顿法（牛顿法）。
其中（1）（2）为专为最大熵模型设计的，（3）（4）为通用算法。

---

3.5 极大似然估计

求上述结果的另外一种方法：极大似然估计法MLE
MLE 的一般公式表示为：
$$L_{\tilde{P}}=\prod _{x}p(x{)}^{\tilde{p}(x)}$$
其中， $p(x)$ 是对模型进行估计的概率分布， $\tilde{p}(x)$ 是实验结果得到的概率分布，进一步地：
待求解的概率模型 $P(Y|X)$ 的似然函数为：
$$\begin{gathered} L_{\tilde{P}}(P_w)=\log \prod _{x,y}P(x,y{)}^{\tilde{P}(x,y)}=\sum _{x,y}\tilde{P}(x,y)\log P(x,y) \\ =\sum _{x,y}\tilde{P}(x,y)\log \left(\tilde{P}(x)P(y|x)\right) \\ =\sum _{x,y}\tilde{P}(x,y)\log P(y|x)+\sum _{x,y}\tilde{P}(x,y)\log \tilde{P}(x) \end{gathered}$$
上式的第二项为常数项，故：
$$L_{\tilde{P}}(P_w)=\sum _{x,y}\tilde{P}(x,y)\log P(y|x)$$
将 $P_w(y|x)$ 代入上式中，得到：
$$\begin{gathered} L_{\tilde{P}}(P_w)=\sum _{x,y}\tilde{P}(x,y)\log P_w(y|x) \\ =\sum _{x,y}\tilde{P}(x,y)\left(\sum _{i=1}^n{w}_i{f}_i(x,y)-\log Z_w(x)\right) \\ =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}\tilde{P}(x,y)\log Z_w(x) \\ =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x) \end{gathered}$$
这与上面用拉格朗日对偶方法求解得到的结果一样。

由此可见：拉格朗日对偶得到的结果与极大似然得到的结果是等价的，换言之，最大熵模型的对偶问题的极小化等价于最大熵模型的极大似然估计。

且根据 MLE 的正确性，可以断定：最大熵的解（无偏的对待不确定性，即争取最大的自由权）同时是最符合样本数据分布的解，进一步证明了最大熵模型的合理性。

两相对比：
熵：表示不确定性的度量；
似然：表示的是与知识的吻合程度；
最大熵模型：对不确定度的无偏分配；
最大似然估计：对知识的无偏理解。
知识 = 不确定度的补集

---

4. 最大熵模型的应用

最大熵模型已经成功应用于自然语言处理的许多领域，如：词性标注，短语识别，指代消解，语法分析，机器翻译，文本分类，问题回答，语言模型，…

MaxEnt模型的应用示例

---

补充：其他熵的定义及公式
3. 联合熵
（1）设 $X,Y$ 为两个随机变量， $X$ 的取值为 $x_1,x_2,\cdots ,x_m$ ， $Y$ 的取值为 $y_1,y_2,\cdots ,y_n$ ，则其联合熵定义为 $H(X,Y)$ ：
$$\begin{gathered} H(X,Y)= \\ -\sum _{i=1}^m\sum _{j=1}^{n}p(x_i,y_i)\log p(x_i,y_i) \end{gathered}$$
（2）熵、条件熵、联合熵可以在事件概率、条件概率、联合概率的基础上进行理解。
（3）联合熵与条件熵的关系：
$$\begin{gathered} H(Y|X)=H(X,Y)-H(X) \\ H(X|Y)=H(X,Y)-H(Y) \end{gathered}$$
即：
$$\begin{gathered} H(X,Y)=H(X)+H(Y|X) \\ =H(Y)+H(X|Y) \end{gathered}$$
（4）联合熵满足的几个性质：
1）$H(X,Y)\ge \max (H(X),H(Y)$;
2）$H(X,Y)\le H(X)+H(Y)$;
3）$H(X,Y)\ge 0$.
4. 相对熵 KL距离
（1）相对熵，又称为 KL 距离（ Kullback-Leibler 散度）。主要用于衡量相同事件空间里的两个概率分布的差异，定义如下：
$$D(P||Q)=\sum _{x\in X}P(x)\cdot \log \frac{P(x)}{Q(x)}$$
（2）相对熵是用来描述概率分布 $P$ 和 $Q$ 差异的一种方法，它不具有对称性，即：$D(P||Q)̸=D(Q||P)$。
（3）对于两个完全相同的分布，他们的相对熵为0， $D(P||Q)$ 与函数 $P$ 和函数 $Q$ 之间的相似度成反比，因此可以通过最小化相对熵来使函数 $Q$ 逼近函数 $P$ ，也就是使得估计的分布函数接近真实的分布。KL 可以用来做一些距离的度量工作，例如用来度量主题模型中得到的主题分布的相似性。
5. 互信息
（1）对于随机变量 $X,Y$ ，其互信息定义为 $MI(X,Y)$ ：
$$MI(X,Y)=-\sum _{i=1}^m\sum _{j=1}^{n}p(x_i,y_i)\cdot {\log }_2\frac{p(x_i,y_i)}{p(x_i)p(y_i)}$$
（2）互信息与联合熵的区别：
$$\begin{gathered} H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y) \\ MI(X,Y)=H(X)-H(Y|X)=H(Y)-H(X|Y) \end{gathered}$$
6. 交叉熵
设随机变量 $X$ 的真实分布为 $p$ ，用 $q$ 分布来近似 $p$ ，则随机变量 $X$ 的交叉熵定义为：
$$H(p,q)=E_p[-\log q]=-\sum _{i=1}^{m}p(x_i)\log q(x_i)$$
形式上可以理解为用 $q$ 来代替 $p$ 求信息熵了。交叉熵用作损失函数时， $q$ 即为所求的模型，可以得到其与相对熵的关系：
$$\begin{gathered} H(p,q)=-{\sum }_{x}p(x)\log q(x) \\ =-{\sum }_{x}p(x)\log \frac{q(x)}{p(x)}p(x) \\ =-{\sum }_{x}p(x)\log p(x)-{\sum }_{x}p(x)\log \frac{q(x)}{p(x)} \\ =H(p)+D(p||q) \end{gathered}$$
可见分布 $p$ 与 $q$ 的交叉熵等于 $p$ 的熵加上 $p$ 与 $q$ 的 $KL$ 距离，所以交叉熵越小，$D(P||Q)$ 越小，即：分布 $p$ 与 $q$ 越接近，这也是相对熵的一个意义。
7. 信息增益
是一种衡量样本特征重要性的方法。特征 $A$ 对训练数据集 $D$ 的信息增益 $g(D,A)$ ，定义为集合 $D$ 的经验熵 $H(D)$ 与特征 $A$ 在给定条件下 $D$ 的经验条件熵 $H(D|A)$ 之差，即：
$$g(D,A)=H(D)-H(D|A)$$
可见信息增益与互信息类似，然后是信息增益比：
$$g_R(D,A)=\frac{g(D,A)}{H(D)}$$