机器学习笔记-最大熵模型

最大熵

  在学习最大熵模型前，我们需要知道熵是什么，在前面决策树那一节，我们介绍了决策树在选择特征时所采用的三种策略：信息增益、信息增益比和基尼指数，其中信息增益和信息增益比都是基于熵计算的，在那里介绍了熵是表示随机变量不确定性的度量，如果设随机变量$X$的概率分布为:
$$P(X=x_i)=p_i,i=1,2,\cdots ,n$$
则随机变量$X$的熵定义为：
$$H(X)=-\sum _{i=1}^n{p}_i\log p_i$$
上式的$H(X)$为随机变量$X$的熵，也反映出随机变量$X$不确定性的度量，可以理解为无法确定的程度，就像两个事件：一、明天有98%的概率会下雨；二、明天有50%的概率会下雨。明显后者的不确定性更大，那么可以说第二个事件的熵比第一个事件的熵要大。
  何为最大熵，那就是使得$H(X)$值达到最大时对应的$X$分布，也称此模型为最大熵模型。由此我们也可以看出，最大熵模型是用来求解概率模型的，在所有的概率分布中，熵最大的模型就是最好的模型。一般情况下，概率分布都是有一些条件约束的，所以我们也称最大熵原理为在满足约束条件的模型集合中选取熵最大的模型。

最大熵模型

  为了给出最大熵模型的可学习形式，我们需要一步步进行推导。
  假设分类模型是一个条件概率分布$P(Y|X)$，$X\in \chi \in R^n$表示输入，$Y$表示输出。也就是说，这个模型就是给定输入$X$，需要我们以条件概率$P(Y|X)$输出$Y$。
给定一个数据集
T = { ( x 1 , x 2 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,x_2),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,x2​),(x2​,y2​),⋯,(xN​,yN​)}
学习的目标就是用最大熵原理选择最好的分类模型。
  首先考虑模型应该满足的条件。给定数据集，可以用确定联合概率分布$P(X,Y)$的经验分布和边缘分布$P(X)$的经验分布，分别以$\tilde{P}(X,Y)$和$\tilde{P}(X)$表示，这里，
$$\tilde{P}(X=x,Y=y)=\frac{v(X=x,Y=y)}{N}$$
$$\tilde{P}(X=x)=\frac{v(X=x)}{N}$$
其中，$v(X=x,Y=y)$表示训练数据中样本$(x,y)$出现的次数，$v(X=x)$表示训练数据中输入$x$出现的次数，$N$表示训练样本容量。
  用特征函数$f(x,y)$描述输入$x$和输出$y$之间的某一个事实，当$x$和$y$均满足一事实时，其值为1，如果有一不满足，其值为0。
特征函数$f(x,y)$关于经验分布$\tilde{P}(X,Y)$的期望值，用$E_{\tilde{P}}(f)$表示：
$$E_{\tilde{P}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$
特征函数$f(x,y)$关于模型$P(Y|X)$与经验分布$\tilde{P}(X)$的期望值，用$E_P(f)$表示：
$$E_p(f)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$
如果模型能够获取训练数据中的信息，那么就可以假设这两个期望值相等，即：
$$E_P(f)=E_{\tilde{P}}(f)$$
从上面两个期望值可以看出，第一个是联合概率分布，在满足合适的条件时，两个期望值相等。
  在《统计学习方法》这本书中，称这为模型的约束条件，其实 这一部分很好理解，你可以就把它当作一个约束条件来看，只不过这个约束条件要让概率满足某种关系，更主要的模型还在后面。
假设满足所有约束条件的模型集合为：
C = { P ∈ P ∣ E p ( f i ) = E P ~ ( f i ) ,      i = 1 , 2 , ⋯   , n } C = \{P\in {\rm P}|E_p(f_i)=E_{\widetilde P}(f_i),\,\,\,\,i=1,2,\cdots,n\} C={P∈P∣Ep​(fi​)=EP ​(fi​),i=1,2,⋯,n}
定义在条件概率分布$P(Y|X)$上的条件熵为：
$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)$$
则集合$C$中条件熵最大的模型称为最大熵模型，这里的对数为自然对数。
  第一个式子是找到所有满足约束条件的概率分布，第二个式子即计算熵的公式，我们需要找到熵最大的概率分布。

最大熵模型的学习方法

  在上一节中，我们学习到要想解决最大熵模型，其实就是找到熵最大的概率分布，那么如何找到最大的熵呢？总不能把所有的概率分布全部列出来，然后一个一个计算条件熵吧，这样做实在是太慢了。既然无法通过遍历的方法找到最大熵，那么我们可以将上面的第二个式子转化为一个优化模型，即定义下面的优化模型：
对于给定的特征训练集 T = { ( x 1 , x 2 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,x_2),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,x2​),(x2​,y2​),⋯,(xN​,yN​)}以及特征函数$f_i(x,y),i=1,2,\cdots ,n$，最大熵模型的学习等价于约束最优化问题：
$$\begin{gathered} \underset{P\in C}{\max }H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x) \\ s.t{E}_p(f_i)=E_{\tilde{P}}(f_i),i=1,2,\cdots ,n \\ \sum _{y}P(y|x)=1 \end{gathered}$$
按照最优化问题的习惯，将求最大值问题改写为等价的求最小值问题：
$$\begin{gathered} \underset{P\in C}{\min }-H(P)=\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x) \\ s.t{E}_p(f_i)=E_{\tilde{P}}(f_i),i=1,2,\cdots ,n \\ \sum _{y}P(y|x)=1 \end{gathered}$$
  上面的式子看上去是不是很熟悉，没错，在SVM的数学形式其实就是这样。回想一下，在SVM中，我们利用拉格朗日乘数法将原问题转化为无约束优化的对偶问题。通过求解对偶问题求解原始问题。为什么要这么做呢？这是因为在原始问题上，求解过程中一直存在约束条件，如果将约束条件消去，那么求解过程将会简单很多。
借助SVM中的思想，我们这里理解起来将会容易很多。
首先第一步，引入拉格朗日乘子$w_0,w_1,w_2,\cdots ,w_n$，定义拉格朗日函数$L(P,w):$
$$\begin{array}{rl}L(p,w)& \equiv -H(p)+w_0(1-\sum _{y}P(y|x))+\sum _{i=1}^n{w}_i(E_{\tilde{P}}(f_i)-E_P(f_i))\\ & =\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)+w_0(1-\sum _{y}P(y|x))\\ & +\sum _{i=1}^n{w}_i(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P(y|x)f_i(x,y))\end{array}$$
很明显引入了拉格朗日数有$w_0$和$w_i$将等式约束放在了目标函数后面，然后形成了一个新的损失函数$L(p,w)$，原始问题为$\underset{P\in C}{\min }\underset{w}{\max }L(P,w)$转化后的对偶问题为：$\underset{w}{\max }\underset{P\in C}{\min }L(p,w)$由于拉格朗日函数$L(p,w)$是一个凸函数，所以原始问题和对偶问题是等价的。

求解对偶问题

  上面讲原始问题转化为求解下面的对偶问题:
$$\underset{w}{\max }\underset{P\in C}{\min }L(p,w)$$
求解思路和SVM中类似，首先求解内部的最小化问题$\underset{P\in C}{\min }L(p,w)$，这个函数的自变量是概率分布$P$，加上该函数是凸函数，那么我可以用求偏导等于0的方法找到极值，具体的对函数求$L(p,w)$对$P(y|x)$的偏导，得到：
$$\begin{array}{rl}\frac{\partial L(P,w)}{\partial P(y|x)}& =\sum _{x,y}\tilde{P}(x)(\log P(y|x)+1)-\sum _y{w}_0-\sum _{x,y}(\tilde{P}(x)\sum _{i=1}^n{w}_i{f}_i(x,y))\\ & =\sum _{x,y}\tilde{P}(x)(\log P(y|x)+1-w_0-\sum _{i=1}^n{w}_i{f}_i(x,y))\end{array}$$
令偏导数等于0，在$\tilde{P}(x)>0$的情况下，解得：
$$P(y|x)=\exp (\sum _{i=1}^n{w}_i{f}_i(x,y)+w_0-1)=\frac{\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))}{\exp (1-w_0)}$$
由于$\sum _{y}P(y|x)=1$，因此右边的式子所有的$y$相加等于1，而分母不与$y$的取值有关，于是为了构造满足条件的式子，我们将分母写成：
$$Z_w=\sum _y\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))$$
且有每一个分量$y$：
$$P_w(y|x)=\frac{1}{Z_w(x)}\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))$$
到这里我们就已经得到求解对偶问题的第一步结果，即内部最小值，其解就是上面的值，将该值带入原始问题中，得到只有参数$w$的损失函数$L(w)$，此时就可以再用优化方法求解无约束模型了，是不是很简单了。
  最大化问题$L(w)$，即也可以用求偏导等于0的方法，假设最优解为$w^{\ast }$，那么概率分布$P_{w^{\ast }}(y|x)$就是学习的最大熵模型。