最大熵（max entropy）模型原理小结

---

适用问题：多类分类

模型特点：对数线性模型

模型类型：判别模型

损失函数：对数似然损失

学习策略：极大似然估计，或者正则化的极大似然估计

学习算法：改进的迭代尺度算法 IIS、 牛顿法或拟牛顿法

1. 认识各种“熵”

    "熵"是一个很重要的概念，熵在决策树、随机森林中，指引树的生成；在深度学习中作为能量函数，指引参数的调整；在最大熵模型中，又作为模型学习的目标。

1.1 信息量：信息的度量

$$h(x_i)=-logp(x_i)=log\frac{1}{p(x_i)}$$
从公式可以看出，概率p与信息量成反比：概率p越高，信息量越低。

1.2 熵：信息量的期望，不确定性的度量

$$H(X)=-\sum _{i=1}^{n}p(x_i)logp(x_i)=\underset{期望}{\underbrace{\sum _{i=1}^{n}p(x_i)\underset{信息量}{\underbrace{log\frac{1}{p(x_i)}}}}}$$
其中假设X有n种取值，$X\in x_1,x_2,...,x_n$，且人为定义了${\lim }_{p\to 0^{+}}plogp=0$。

熵的物理含义：熵反映了不确定性，是一个度量。

例如掷骰子时，$p(xi)=\frac{1}{6},i=1,2,...,6$，概率分布式均匀的，此时熵最大，即不确定性最高。

1.3 联合熵

$$H(X,Y)=-\sum _{i=1}^n\sum _{j=1}^{n}p(x_i,y_j)logp(x_i,y_j)$$
$$H(X_1,X_2,...,X_n)=-\sum _{i=1}^n\sum _{j=1}^n...\sum _{k=1}^{n}p(x_i,x_j,...,x_k)logp(x_i,x_j,...,x_k)$$
联合熵的性质

• m a x { H ( X ) , H ( Y ) } ≤ H ( X , Y ) ≤ H ( X ) + H ( Y ) max\{H(X), H(Y)\}\le H(X,Y)\le H(X)+H(Y) max{H(X),H(Y)}≤H(X,Y)≤H(X)+H(Y)
• m a x { H ( X 1 ) , . . , H ( X n ) } ≤ H ( X 1 , X 2 , . . . , X n ) ≤ H ( X 1 ) + . . H ( X n ) max\{H(X_1),..,H(X_n)\} \le H(X_1, X_2,...,X_n) \le H(X_1)+..H(X_n) max{H(X1​),..,H(Xn​)}≤H(X1​,X2​,...,Xn​)≤H(X1​)+..H(Xn​)
• $H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)$

1.4 条件熵

$$H(Y|X)=\sum _{i=1}^{n}p(x_i)H(Y|X=x_i)$$
而$H(Y|x_i)=-{\sum }_{j=1}^{n}p(y_j|x_i)logp(y_j|x_i)$，所以得到：
$$H(Y|X)=-\sum _{i=1}^n\sum _{j=1}^{n}p(x_i)p(y_j|x_i)logp(y_j|x_i)$$
而根据条件概率公式，可知$p(x_i)p(y_j|x_i)=p(x_i,y_j)$，$p(y_j|x_i)=\frac{p(x_i,y_j)}{p(x_i)}$，所以得到：

$$\begin{gathered} H(Y|X)=-\sum _{i=1}^n\sum _{j=1}^{n}p(x_i,y_j)logp(y_j|x_i) \\ =\sum _{i=1}^n\sum _{j=1}^{n}p(x_i,y_j)log\frac{p(x_i)}{p(x_i,y_j)} \end{gathered}$$

公式： $H(Y|X)=H(X,Y)-H(X)$

1.5 互信息：变量间相互依赖的度量

$$I(X,Y)=\sum _{i=1}^n\sum _{j=1}^{n}p(x_i,y_j)log\frac{p(x_i,y_j)}{p(x_i)p(y_j)}$$
互信息常用于：

• （1）特征选择 feature selection
• （2）降维
• （3）特征之间的“关联性” features’ correlation

与“相关系数”$\rho$（$Corr(X,Y)=\frac{Cov(X,Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}}=\frac{Cov(X,Y)}{{\sigma }_x{\sigma }_y}$）的差别：相关系数$\rho$ 只能刻画线性相关性（正相关或者负相关，例如x的数值变大，Y的数值也变大，或者的数值变小），而互信息主要是在刻画非线性相关性（例如Y=|X|）。

公式： $I(X,Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)$

1.6 相对熵：（KL散度）刻画的是2个分布之间的差异

    通过某种度量的方式，去度量概率上的差异，以此刻画2个分布之间的差异性：

• （1）KL(p||q)
• （2）Wasserstein
• （3）MMD
• （4）Kernel Hibert density distance

p q是2个分布，或者说是2个概率密度函数，那么2个概率分布之间的相对熵是：
$$D(p||q)=\sum _{i=1}^{n}p(x_i)log\frac{p(x_i)}{q(x_i)}$$

相对熵的特点：

• 不对称性，$D(p||q)\ne D(q||p)$，除非p和q完全一样时才相等；当$D(p||q)$很大时，表示分布p与q的差异性非常明显
• $D(p||q)\ge 0$，证明要用到“琴生不等式”（Jensen不等式）

Jensen不等式：

（1）当f(x)是凸函数时，$f(\frac{x_1+x_2}{2})\le \frac{1}{2}[f(x_1)+f(x_2)]$，即$f(E(x))\le E(f(x))$
（2）当f(x)是凹函数时，$f(\frac{x_1+x_2}{2})\ge \frac{1}{2}[f(x_1)+f(x_2)]$，即$f(E(x))\ge E(f(x))$

$D(p||q)\ge 0$ 证明：

    $D(p||q)={\sum }_{i=1}^{n}p(x_i)log\frac{p(x_i)}{q(x_i)}$，
    令$y_i=\frac{q_i}{p_i}$，$f(y_i)=log{y}_i=log\frac{q_i}{p_i}$~凹函数（关于$y_i$的），
    则根据Jensen不等式，有 $E(f(x))\le f(E(x))$，
    即有${\sum }_{i=1}^n{p}_{i}log{y}_i\le log({\sum }_{i=1}^n{p}_{i}yi)$，即：
    ${\sum }_{i=1}^n{p}_{i}log\frac{q_i}{p_i}\le log({\sum }_{i=1}^n{p}_i\frac{q_i}{p_i})=log({\sum }_{i=1}^n{q}_i)=log1=0$，即得到：
    ${\sum }_{i=1}^n{p}_{i}log\frac{q_i}{p_i}\le 0$ ⇒ ${\sum }_{i=1}^n{p}_{i}log\frac{p_i}{q_i}\ge 0$ ⇒ $D(p||q)\ge 0$

1.7 交叉熵

    深度学习中最常用的目标函数。也是刻画2个分布之间的关系。
$$CE(p,q)=-\sum _{i=1}^{n}p(x_i)logq(x_i)$$
交叉熵与KL散度的关系：

$CE(p,q)=-{\sum }_{i=1}^{n}p(x_i)logq(x_i)$
$=-{\sum }_{i=1}^n{p}_{i}log{p}_i+{\sum }_{i=1}^n{p}_{i}log{p}_i-{\sum }_{i=1}^n{p}_{i}log{q}_i$
$=H(p)+{\sum }_{i=1}^n{p}_{i}log\frac{p_i}{q_i}$
$=H(p)+D(p||q)$

1.8 最大熵

    最大熵的原则：承认已知事物，对未知事物没有任何偏见。即在承认已知事物的情况下，未知事物的概率平均分布，等价于熵最大。

2. 最大熵模型

2.1 最大熵原理

    最大熵原理是概率模型学习的一个准则。最大熵原理认为：学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模是最好的模型。通常用 约束条件 来确定概率模型的集合，所以，最大熵原理也可以表述为：在满足约束条件的模型集合中选取熵最大的模型。

2.2 模型的定义

    将最大熵原理应用到分类，就得到最大熵模型。学习的目标就是用最大熵原理选择最好的模型。

    最大熵模型是指“条件熵”最大的模型。

    给定训练样本集（假设含有N个样本） T = { ( x ( 1 ) , y ( 1 ) , ( x ( 2 ) , y ( 2 ) , . . . , ( x ( N ) , y ( N ) } T=\{(x^{(1)},y^{(1)},(x^{(2)},y^{(2)},...,(x^{(N)},y^{(N)}\} T={(x(1),y(1),(x(2),y(2),...,(x(N),y(N)}，x为输入，是n维特征向量，Y为输出。从样本集中可以得到联合分布$P(X,Y)$的经验分布$\hat{P}(X,Y)$，以及边缘分布$P(X)$的经验分布$\hat{P}(X)$，并且有$\hat{P}(X,Y)=\frac{count(X=x,Y=y)}{N}$，$\hat{P}(X)=\frac{count(X=x,\cdot )}{N}$。

条件熵

定义在条件概率分布$P(Y|X)$上的条件熵为：
$$H(P)=-\sum _{x,y}P(x)P(y|x)logP(y|x)\approx -\sum _{x,y}\hat{P}(x)P(y|x)logP(y|x)$$

特征函数

$$f(x,y)=\{\begin{array}{ll}1,& x与y满足某一事实\\ 0,& other\end{array}$$
特征函数$f(x,y)$关于经验分布$\hat{P}(X,Y)$的期望值：$$E_{\hat{P}}(f)=\sum _{x,y}\hat{P}(x,y)f(x,y)$$
特征函数$f(x,y)$关于条件分布$P(Y|X)$与经验分布$\hat{P}(X)$的期望值：$$E_P(f)=\sum _{x,y}\hat{P}(x)P(y|x)f(x,y)$$
假设能从训练集中获得足够的信息，那么可以认为$E_P(f)=E_{\hat{P}}(f)$，即有：$$\sum _{x,y}\hat{P}(x)P(y|x)f(x,y)=\sum _{x,y}\hat{P}(x,y)f(x,y)$$

约束条件

• 约束1：$E_P(f_i)-E_{\hat{P}}(f_i)=0$，假设有n个特征函数，i=1,2,…,n，那么这里就有n个约束条件
• 约束2：$\sum _{y}P(y|x)=1$

最大熵模型

    约束条件决定了模型的集合，假设满足所有约束条件的模型集合为$C\text{C}C$，那么在$C\text{C}C$中，使得条件熵$H(P)$最大的模型称为最大熵模型。其中$H(P)$是定义在条件概率分布$P(Y|X)$上的条件熵。

3. 损失函数

    目标是求满足条件的$H(P)$的最大值，将最大值问题转化为求最小值问题，则损失函数即为$-H(P)$，那么求解最大熵模型的过程可等价于求解如下约束最优化问题：
$$\underset{P\in C}{\underbrace{min}}-H(P)=\sum _{x,y}\hat{P}(x)P(y|x)logP(y|x)$$
                    $$\begin{gathered} s.t.E_P(f_i)-E_{\hat{P}}(f_i)=0,i=1,2,...,n \\ 1-{\sum }_{y}P(y|x)=0 \end{gathered}$$

4. 学习算法

4.1 对偶函数

    首先写出有约束最优化的原始问题的拉格朗日无约束优化函数：
$$L(p,\lambda )=-H(P)+{\lambda }_0(1-\sum _{y}P(y|x))+\sum _{i=1}^n{\lambda }_i(E_P(f_i)-E_{\hat{P}}(f_i))$$
那么由约束最优化的原始问题可以转化为与其等价的拉格朗日极小极大问题：$$\underset{P\in C}{\underbrace{min}}\underset{\lambda }{\underbrace{max}}L(P,\lambda )$$
其相应的对偶问题是：$$\underset{\lambda }{\underbrace{max}}\underset{P\in C}{\underbrace{min}}L(P,\lambda )$$
    由于$L(p,\lambda )$是凸函数，且约束条件为仿射函数，且满足KKT条件，则原始问题的解与对偶问题的解是等价的，那么可以通过求解对偶问题来求解原始问题。

    首先求解对偶问题的内部极小化问题$\underset{P\in C}{\underbrace{min}}L(P,\lambda )$，记为$\psi (\lambda )$，称为对偶函数，即：$$\psi (\lambda )=\underset{P}{\underbrace{min}}L(P,\lambda )=L(P_{\lambda },\lambda )$$
可通过求其关于$P(y|x)$的偏导数，求得其解$P_{\lambda }=arg\underset{P}{\underbrace{min}}L(P,\lambda )=P_{\lambda }(y|x)$。
$$\frac{\partial L(P,\lambda )}{\partial P(y|x)}=\sum _{x,y}\hat{P}(x)(logP(y|x)+1)-\sum _y{\lambda }_0-\sum _{x,y}(\hat{P}(x)\sum _{i=1}^n{\lambda }_i{f}_i(x,y))$$
$$=\sum _{x,y}\hat{P}(x)(logP(y|x)+1-{\lambda }_0-\sum _{i=1}^n{w}_i{f}_i(x,y))$$
注意：$\sum _y{\lambda }_0=\sum _y\underset{等于1}{\underbrace{\sum _x\hat{P}(x)}}{\lambda }_0=\sum _{x,y}\hat{P}(x){\lambda }_0$。
令偏导数=0，解得：$$P(y|x)=exp(\sum _{i=1}^n{\lambda }_i{f}_i(x,y)+{\lambda }_0-1)=\frac{exp(\sum _{i=1}^n{\lambda }_i{f}_i(x,y))}{exp(1-{\lambda }_0)}$$
令$Z_{\lambda }=exp(1-{\lambda }_0)$，则：$P_{\lambda }=\frac{1}{Z_{\lambda }}exp(\sum _{i=1}^n{\lambda }_i{f}_i(x,y))$。
    又由于${\sum }_{y}P(y|x)=1$，则$Z_{\lambda }={\sum }_{y}exp(\sum _{i=1}^n{\lambda }_i{f}_i(x,y))$，$Z_{\lambda }$成为规范化因子。这样$P_{\lambda }(y|x)$就被表示为$\lambda$的表达式，然后就是求解$\lambda$，通过求解对偶问题的外部极大化问题来求解$\lambda$，即求解：$$\underset{\lambda }{\underbrace{max}}\psi (\lambda )$$
其解记为${\lambda }^{\ast }$，${\lambda }^{\ast }=arg\underset{\lambda }{\underbrace{max}}\psi (\lambda )$。
    $\lambda$的求解使用的是“改进的迭代尺度算法 Improved Iterative Scalling（IIS）”，即找到$\psi (\lambda +\delta )-\psi (\lambda )$的一个下界$B(\lambda |\delta )$，通过对$B(\lambda |\delta )$极大化来得到对应的$\delta$的值，此时的$\delta$使得下界提高，那么对数似然函数也会提高，那么就可以使用：$\lambda \to \lambda +\delta$，来更新参数向量，进而来迭代求解使得对数似然函数达到最大值的${\lambda }^{\ast }$。

    求${\lambda }^{\ast }$后，然后求$P^{\ast }$：$\lambda \to {\lambda }^{\ast }\to P^{\ast }\to P^{\ast }(y|x)$。

4.2 对数似然函数

    已知训练数据的联合分布的经验分布$\hat{P}(X,Y)$，那么联合概率分布$P(x,y)$的似然函数可表示为：$L_{\hat{P}}(P_{\lambda })=\prod _{x,y}P(x,y{)}^{\hat{P}(x,y)}$，其对数似然函数为：$$log{L}_{\hat{P}}(P_{\lambda })=\sum _{x,y}\hat{P}(x,y)logP(x,y)$$
$$\begin{gathered} =\sum _{x,y}\hat{P}(x,y)logP(y|x)\hat{P}(x) \\ =\sum _{x,y}\hat{P}(x,y)logP(y|x)+\sum _{x,y}\hat{P}(x,y)\hat{P}(x) \end{gathered}$$
给定训练样本集后，上述第2项就是个常数项，那么整理之后就可以得到如下的对数似然函数：
$$L_{\hat{P}}(P_{\lambda })=\sum _{x,y}\hat{P}(x,y)logP(y|x)$$

当$P(y|x)$是最大熵模型时，带入上式可得到：$$L_{\hat{P}}(P_{\lambda })=\sum _{x,y}\hat{P}(x,y)logP(y|x)$$
$$\begin{gathered} =\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{\lambda }_i{f}_i(x,y)-\sum _{x,y}\hat{P}(x,y)log{Z}_{\lambda } \\ =\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{\lambda }_i{f}_i(x,y)-\sum _x\hat{P}(x)log{Z}_{\lambda } \end{gathered}$$
再看对偶函数：
$$\begin{gathered} \psi (\lambda )=L(P_{\lambda },\lambda ) \\ =-H(P_{\lambda })+{\lambda }_0(1-{\sum }_y{P}_{\lambda }(y|x))+{\sum }_{i=1}^n{\lambda }_i(E_{P_{\lambda }}(f_i)-E_{\widehat{P_{\lambda }}}(f_i)) \\ ={\sum }_{x,y}\hat{P}(x)P_{\lambda }(y|x)log{P}_{\lambda }(y|x)+0 \\ +{\sum }_{i=1}^n{\lambda }_i({\sum }_{x,y}\hat{P}(x,y)f_i(x,y)-{\sum }_{x,y}\hat{P}(x)P(y|x)f_i(x,y)) \\ =\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{\lambda }_i{f}_i(x,y)-\sum _x\hat{P}(x)log{Z}_{\lambda } \end{gathered}$$

由前面两式子可看出：$$\psi (\lambda )=L_{\hat{P}}(P_{\lambda })$$
即对偶函数$\psi (\lambda )$等价于对数似然函数$L_{\hat{P}}(P_{\lambda })$，说明最大熵模型学习中的对偶函数极大化等价于最大熵模型的极大似然函数估计这一事实。

另外，由前面的内容可知，$P_{\lambda }=\frac{1}{Z_{\lambda }}exp(\sum _{i=1}^n{\lambda }_i{f}_i(x,y))$，而其中$Z_{\lambda }={\sum }_{y}exp(\sum _{i=1}^n{\lambda }_i{f}_i(x,y))$，$Z_{\lambda }$称为规范化因子，其中$\lambda \in R^n$ 为权值向量。这也是最大熵模型更为一般的形式，此形式与逻辑斯蒂回归模型有类似的形式，所以他们又都称为“对数线性模型”，学习的策略都是极大似然估计或者正则化的极大似然估计。

5. 模型综合评价

优点

• a) 最大熵统计模型获得的是所有满足约束条件的模型中信息熵极大的模型，作为经典的分类模型时准确率较高。
• b) 可以灵活地设置约束条件，通过约束条件的多少可以调节模型对未知数据的适应度和对已知数据的拟合程度。

缺点

• a) 由于约束函数数量和样本数目有关系，导致迭代过程计算量巨大，实际应用比较难。

最后：如果本文中出现任何错误，请您一定要帮忙指正，感激~

6. 参考

• [1] 统计学习方法（第2版） 李航
• [2] 最大熵模型原理小结   刘建平
• [3] 最大熵模型中的对数似然函数的解释
• [4] 机器学习（西瓜书） 周志华