06_LR和最大熵模型_统计学习方法

回归模型重要的基础或者方法就是回归分析，回归分析是研究一个变量（被解释变量）关于另一个（些）变量（解释变量）的具体依赖关系的计算方法和理论，是建模和分析数据的重要工具。—这段来自百度百科。

回归分为线性回归和非线性回归。

• 线性回归，因变量和自变量满足关系：$y=w\cdot x+b$

• 非线性回归，因变量和自变量不满足上面的关系，但是又有某种稳定的关系，统称为非线性回归。

线性回归比较直观，研究起来也简单。对于一些特别的非线性回归，可以转化成线性回归来研究。例如前面的感知机模型$y=sign(w\cdot x+b)$就可以分两步研究，可以有：
$$z=w\cdot x+b\text{\hspace{1em}(1)}$$
$$y=sign(z)\text{\hspace{1em}(2)}$$

对于式(1)，就是熟悉和简单的线性回归问题。对于式(2)很简单，$z\ge 0$为1，$z<0$为-1。

而今天要学习的LR模型，与感知机模型类似，只是外面套的那层马甲不一样。LR模型$y=h_{\theta }(x)=sigmoid(w\cdot x+b)$，$h_{\theta }(x)$是模型的抽象函数，$\theta$是模型参数，sigmoid是LR模型具体使用的函数，w,b为模型具体参数。LR为什么要使用sigmoid函数？对为什么使用sigmoid函数做了一定解释。LR也可以成两步来研究，即：
$$z=w\cdot x+b$$
$$y=sigmoid(z)$$
在机器学习中，难点不在模型，而在根据问题来选择模型，这个需要对问题有足够的了解，要根据数据特征进行分析，再来选定合适的模型。当然按Andrew Ng说的做项目就要快速搭建框架，可以先选择一个模型完成一个整体框架，这个思路也非常好。对于模型的选择，后续再仔细研究研究，这是机器学习非常关键的一点。要选择模型，那么首先要了解被选择的模型。

一、理解LR模型

$$z=w\cdot x+b$$
$$y=h_{\theta }(x)=sigmoid(z)=\frac{1}{1+e^{-z}}$$

sigmoid几何形状为：

1、 对数几率

一个事件的几率（odds）是指该事件发生的概率与该事件不发生的概率的比值。若事件发生概率为p，则该事件的几率是$\frac{p}{1-p}$，对数几率是$log\frac{p}{1-p}$，对logistic回归而言：
$$log\frac{y}{1-y}=log\frac{\frac{1}{1+e^{-z}}}{\frac{e^{-z}}{1+e^{-z}}}=log{e}^z=z=w\cdot x+b$$
输出y的对数几率是由输入x的线性函数表示的模型即为LR模型。

2、函数映射

考虑对输入实例x进行分类的线性表达式$w\cdot x+b$，其值域为实数域，通过LR模型的表达式可以将线性函数$w\cdot x+b$的结果映射到(0,1)区间，取值表示结果为1的概率(在二分类场景中)。线性函数的值越接近于正无穷大，概率值就越近1；反之，其值越接近于负无穷，概率值就越接近于0，这样的模型就是LR模型。LR本质上还是线性回归，只是特征到结果的映射过程中加了一层函数映射，即sigmoid函数，即先把特征线性求和，然后使用sigmoid函数将线性和约束至(0,1)之间，结果值用于二分或回归预测。

3、概率解释

LR模型多用于解决二分类问题，如广告是否被点击(是／否)，商品是否被购买(是／否)等互联网领域中常见的应用场景。但在实际场景中，我们又不把它处理成绝对的分类，而是用其预测值作为事件发生的概率。这里从事件，变量以及结果的角度给予解释。

我们所能拿到的训练数据统称为观测样本。样本是如何生成的？一个样本可以理解为发生的一次事件，样本生成的过程即事件发生的过程，对于0/1分类问题来讲，产生的结果有两种可能，符合伯努利试验的概率假设。因此，我们可以说样本的生成过程即为伯努利试验过程，产生的结果(0/1)服从伯努利分布，那么对于第i个样本，概率公式表示如下：
$$P(y^{(i)}=1|x^{(i)};\theta )=h_{\theta }(x^{(i)})$$
$$P(y^{(i)}=0|x^{(i)};\theta )=1-h_{\theta }(x^{(i)})$$
将上面两个公式合并在一起，可以得到第i个样本正确预测的概率：
$$P(y^{(i)}|x^{(i)};\theta )=[h_{\theta }(x^{(i)}){]}^{y^{(i)}}[1-h_{\theta }(x^{(i)}){]}^{(1-y^{(i)})}$$
上式是对一个样本进行建模的数据表达。那么对于所有的样本，假设每条样本生成过程独立，在整个样本空间中（N个样本）的概率分布（即似然函数）为：
$$P(Y|X;\theta )=\prod _{i=1}^N[h_{\theta }(x^{(i)}){]}^{y^{(i)}}[1-h_{\theta }(x^{(i)}){]}^{(1-y^{(i)})}$$
理解LR模型内容引用自博客。

二、LR模型参数估计

梯度下降求解最优参数

极大似然估计：什么样的参数才能使我们观测到目前这组数据的概率最大。参数在整个样本空间的似然函数可表示为：
$$L(\theta )=\prod _{i=1}^N[h_{\theta }(x^{(i)}){]}^{y^{(i)}}[1-h_{\theta }(x^{(i)}){]}^{(1-y^{(i)})}$$
则有对数似然函数$l(\theta )$：
$$l(\theta )=\sum _{i=1}^N[y^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]$$
函数从抽象到具体：
$$h_{\theta }(x)=sigmoid(z)=\frac{1}{1+e^{-z}}$$
$$z=w\cdot x+b\text{\hspace{1em}(3)}$$
则有：
$$h_{\theta }\prime (x)=h_{\theta }(x)(1-h_{\theta }(x))\text{\hspace{1em}(4)}$$

把求最大值问题转化为求最小值问题，即把求解似然函数最大值转化为求交叉熵损失函数最小值，则令：
$$J=-\frac{1}{N}l(\theta )=-\frac{1}{N}\sum _{i=1}^N[y^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]$$
则有：
$$\frac{\partial J}{\partial h_{\theta }(x^{(i)})}=-\frac{1}{N}\sum _{i=1}^N[\frac{y^{(i)}}{h_{\theta }(x^{(i)})}-\frac{1-y^{(i)}}{1-h_{\theta }(x^{(i)})}]\text{\hspace{1em}(5)}$$
根据式(4)有：
$$\frac{\partial h_{\theta }(x^{(i)})}{\partial z}=h_{\theta }(x^{(i)})(1-h_{\theta }(x^{(i)}))\text{\hspace{1em}(6)}$$
根据式(3)有：
$$\frac{\partial z}{\partial w}=x^{(i)}\text{\hspace{1em}(7)}$$
$$\frac{\partial z}{\partial b}=1\text{\hspace{1em}(8)}$$
则根据上式(5)(6)(7)(8)有：
$$dw=\frac{\partial J}{\partial h_{\theta }(x^{(i)})}\frac{\partial h_{\theta }(x^{(i)})}{\partial z}\frac{\partial z}{\partial w}=\frac{1}{N}\sum _{i=1}^N[h_{\theta }(x^{(i)})-y^{(i)}]x^{(i)}$$
$$db=\frac{\partial J}{\partial h_{\theta }(x^{(i)})}\frac{\partial h_{\theta }(x^{(i)})}{\partial z}\frac{\partial z}{\partial b}=\frac{1}{N}\sum _{i=1}^N[h_{\theta }(x^{(i)})-y^{(i)}]$$
使用梯度下降的方法，对参数进行更新：
$$w=w-\alpha \times dw$$
$$b=b-\alpha \times db$$

• $\alpha$为学习率

多项逻辑斯谛回归（multi-nominal logistic regression model）

推广到多分类，假设离散型随机变量Y的取值集合是{1,2,…,K}，那么多项LR模型是：
$$P(Y=k|x)=\frac{e^{w_{k}x}}{1+{\sum }_{k=1}^{K-1}{e}^{w_{k}x}},k=1,2,\dots ,K-1$$
$$P(Y=K|x)=\frac{1}{1+{\sum }_{k=1}^{K-1}{e}^{w_{k}x}},k=1,2,\dots ,K-1$$

softmax

$$P(Y=k|x)=\frac{e^{z_k}}{{\sum }_{k=1}^K{e}^{z_k}},k=1,2,\dots ,K$$

三、最大熵模型

最大熵模型是指：在所有满足约束条件的概率模型集合中，熵最大的模型是最好的；可以证明，在没有其它约束条件时，均匀分布模型是最大熵模型。

例如：P(A)+P(B)=1，按照最大熵模型得到P(A)=P(B)=0.5，也就是均匀分布。

可以从物理学的角度来理解该模型：根据热力学第二定理，如果没有外力干扰，系统的熵值是趋于不断增加的。由此，在没有其它额外参考信息的情况下，选择熵值最大的模型是最可靠的，因为没有外在动力时，宇宙本来就是趋于无序的。

1、最大熵原理

最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型就是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。

2、最大熵模型的定义

假设分类模型是一个条件概率分布$P(Y|X)$，X表示输入，Y表示输出，这个模型表示的是对于给定的输入X，以条件概率$P(Y|X)$输出Y。

给定一个训练数据集：
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T = \{(x_1,y_1),(x_2,y_2),…,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}
学习的目标是用最大熵原理选择最好的分类模型。首先考虑模型应满足的条件，给定训练数据集，可以确定联合分布$P(X,Y)$的经验分布和边缘分布$P(X)$的经验分布，分别以$\tilde{P}(X,Y)$和$\tilde{P}(X)$表示。有：
$$\tilde{P}(X=x,Y=y)=\frac{v(X=x,Y=y)}{N}$$
$$\tilde{P}(X=x)=\frac{v(X=x)}{N}$$

• $v(X=x,Y=y)$表示训练数据中样本$(x,y)$出现的频数，$v(X=x)$表述训练数据中输入$x$出现的频数，N表示训练样本容量。
  用特征函数$f(x,y)$描述输入$x$和$输出y$之间的某一个事实。其定义是：
  $$f(x,y)=\{\begin{array}{ll}1,& x与y满足某一事实\\ 0,& othervalues\end{array}$$
  特征函数$f(x,y)$关于经验分布$\tilde{P}(X,Y)$的期望值，用$E_{\tilde{P}}(f)$表示。
  $$E_{\tilde{P}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)=\sum _{x,y}\tilde{P}(x)\tilde{P}(y|x)f(x,y)$$
  特征函数$f(x,y)$关于模型$P(Y|X)$与经验分布$\tilde{P}(X)$的期望值，用$E_P(f)$表示。
  $$E_P(f)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$
  特征函数可以理解为模型的某个特征的描述，这个特征可以与数据集x的某一个特征（维度）对应，也可以不是指数据集x的特征。但此时特征函数里面的x与概率里面的x是必须对应的，都为特征或者都为实例或者其他某个规律的描述。

如果模型能够获取训练数据中的信息，则经验条件概率$\tilde{P}(y|x)$与条件概率$P(y|x)$近似相等。那么就可以假设这两个期望值相等，即：
$$E_{\tilde{P}}(f)=E_P(f)\text{\hspace{1em}(9)}$$
故有
$$\sum _{x,y}\tilde{P}(x,y)f(x,y)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$
将式(9)作为模型学习的约束，假如有n个特征函数$f_i(x,y),i=1,2,\dots ,n$，那么就有n个约束条件。
C ≡ { P ∈ P ∣ E P ( f i ) = E P ~ ( f i ) , i = 1 , 2 , … , n } {C} \equiv \{P\in { P}|E_{P}(f_i) = E_{\tilde{P}}(f_i) ,i=1,2,…,n \} C≡{P∈P∣EP​(fi​)=EP~​(fi​),i=1,2,…,n}
定义在条件概率分布$P(Y|X)$上的条件熵为：
$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$
则模型集合$\mathbf{C}$中条件熵$H(P)$最大的模型称为最大熵模型。式中的对数为自然对数。

3、最大熵模型的学习

（1）定义问题

最大熵模型的学习等价于以下约束最优化问题：
$$ma{x}_{P\in C}H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$
$$s.t.E_P(f_i)=E_{\tilde{P}}(f_i),i=1,2,...,n$$
$$\sum _{y}P(y|x)=1$$

按照最优化问题的习惯，将求最大值问题改写为等价的求最小值问题：
$$mi{n}_{P\in C}-H(P)=\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)\text{\hspace{1em}(10)}$$
$$s.t.E_{\tilde{P}}(f_i)-E_P(f_i)=0,i=1,2,...,n\text{\hspace{1em}(11)}$$
$$\sum _{y}P(y|x)=1\text{\hspace{1em}(12)}$$
求解约束最优化问题(10)-(12)，定义拉格朗日函数$L(P,w)$：
$$\begin{gathered} L(w,p)\equiv -H(P)+w_0(1-\sum _{y}P(y|x))+\sum _{i=1}^n{w}_i(E_{\tilde{P}}(f_i)-E_P(f_i)) \\ =\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)+w_0(1-\sum _{y}P(y|x))+\sum _{i=1}^n{w}_i(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P(y|x)f_i(x,y))\text{\hspace{1em}(13)} \end{gathered}$$

最优化的原始问题即含有参数$w$的部分最大时整体最小时$-H(p)$取得最小值为：
$$mi{n}_{P\in C}ma{x}_{w}L(P,w)\text{\hspace{1em}(14)}$$
我们将最小最大化问题转化成它的对偶问题，即最大最小化问题，要进行这种转化需要满足$H(P)$为凸函数，以及$1-{\sum }_{y}P(y|x)$和${\sum }_{i=1}^n{w}_i(E_{\tilde{P}}(f_i)-E_P(f_i))$为仿射函数：
$$ma{x}_{w}mi{n}_{P\in \mathbf{C}}L(P,w)\text{\hspace{1em}(15)}$$
（2）求解对偶问题内部的极小化问题

首先求解对偶问题(15)内部的极小化问题$mi{n}_{P\in C}L(P,w)$，得到的函数是$w$的函数，将其记作：

$$\psi (w)=mi{n}_{P\in C}L(P,w)=L(P_w,w)\text{\hspace{1em}(16)}$$
$\psi (w)$即为对偶函数，将其解记为：
$$P_w=argmi{n}_{P\in C}L(P,w)=P_w(y|x)$$
具体的是求$L(P,w)$关于$P(y|x)$的偏导数：
$$\begin{gathered} \frac{\partial L(P,w)}{\partial P(y|x)}=\sum _{x,y}\tilde{P}(x)(logP(y|x)+1)-\sum _y{w}_0-\sum _{x,y}(\tilde{P}(x)\sum _{i=1}^n{w}_i{f}_i(x,y)) \\ =\sum _{x,y}\tilde{P}(x)(logP(y|x)+1-w_0-\sum _{i=1}^n{w}_i{f}_i(x,y)) \end{gathered}$$

因为${\sum }_x\tilde{P}(x)=1$，所以${\sum }_y{w}_0={\sum }_x\tilde{P}(x){\sum }_y{w}_0={\sum }_{x,y}\tilde{P}(x)w_0$
令偏导数为0，在$\tilde{P}(x)>0$的情况下，可以解出$P(y|x)$关于$w$的表达式如下：
$$P(y|x)=exp(\sum _{i=1}^n{w}_i{f}_i(x,y)+w_0-1)=\frac{exp({\sum }_{i=1}^n{w}_i{f}_i(x,y))}{exp(1-w_0)}$$
由于${\sum }_{y}P(y|x)=1$，得：
$$P_w(y|x)=\frac{1}{Z_w(x)}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))\text{\hspace{1em}(17)}$$
因为${\sum }_{y}P(y|x)=1$可以消除$w_0$，即得到如下的规范化因子。
其中：
$$Z_w(x)=exp(1-w_0)=\sum _{y}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))\text{\hspace{1em}(18)}$$
$Z_w(x)$称为规范化因子，$f_i(x,y)$是特征函数，$w_i$是特征的权重。
由式(17)(18)表示的模型$P_w=P_w(y|x)$就是最大熵模型。这里，$w$是最大熵模型中的参数向量。此时条件概率模型与softmax非常类似。

（3）求解对偶问题的外部极大化问题

之后求解对偶问题外部的极大化问题$ma{x}_w\psi (w)$。将其解记作$w^{\ast }$，即：
$$w^{\ast }=argma{x}_w\psi (w)=argma{x}_{w}L(P_w(y|x),w)$$

因为前面在求$P_w(y|x)$，消除其中含有的$w_0$参数已经使用过$1-{\sum }_{y}P(y|x)=0$条件，所以肯定有$1-{\sum }_y{P}_w(y|x)=0$，由式(13)有：
$$\begin{gathered} L(P_w(y|x),w)=\sum _{x,y}\tilde{P}(x)P_w(y|x)ln{P}_w(y|x)+\sum _{i=1}^n{w}_i(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)) \\ =\sum _{x,y}\tilde{P}(x)P_w(y|x)(ln{P}_w(y|x)-\sum _{i=1}^n{w}_i{f}_i(x,y))+\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y) \end{gathered}$$
又因为$ln{P}_w(y|x)={\sum }_{i=1}^n{w}_i{f}_i(x,y)-ln{Z}_w(x)$和${\sum }_y{P}_w(y|x)=1$，所以有：
$$\begin{gathered} L(P_w(y|x),w)=\sum _{x,y}\tilde{P}(x)P_w(y|x)(-ln{Z}_w(x))+\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y) \\ =\sum _x\tilde{P}(x)(-ln{Z}_w(x))\sum _y{P}_w(y|x)+\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y) \\ =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)ln{Z}_w(x)\text{\hspace{1em}(19)} \end{gathered}$$
得到了需要极大化的式子：
$$ma{x}_w\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)ln{Z}_w(x)\text{\hspace{1em}(20)}$$

（4）最大似然估计

训练数据得经验概率分布$\tilde{P}(X,Y)$，条件概率分布$P(Y|X)$的对数似然函数可以表示为：
$$L_{\tilde{P}}(P_w)=ln\prod _{x,y}P(y|x{)}^{\tilde{P}(x,y)}=\sum _{x,y}\tilde{P}(x,y)lnP(y|x)$$
将式（17）$P_w(y|x)$代入有：
$$\begin{gathered} \sum _{x,y}\tilde{P}(x,y)lnP(y|x)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}\tilde{P}(x,y)ln{Z}_w(x) \\ =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)ln{Z}_w(x)\text{\hspace{1em}(21)} \end{gathered}$$

（5）结论

显而易见$L_{\tilde{P}}(P_w)=\psi (w)$，拉格朗日对偶问题外部的极大化得到的结果与极大似然得到的结果是一样的。这样，最大熵模型的学习问题转换为具体求解对数似然函数极大化或对偶函数极大化的问题。
$$P_w(y|x)=\frac{1}{Z_w(x)}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))$$
$$Z_w(x)=\sum _{y}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))$$

上式并没有一个显式的解析解，因此需要借助于数值的方法。由于是一个光滑的凸函数，所以可以求解的方法很多。可以使用的方法有：

• 通用迭代尺度法（GIS: Generalized Iterative Scaling）。
• 改进的迭代尺度法（IIS: Improved Iterative Scaling）。
• 梯度下降算法
• 拟牛顿法（牛顿法）

其中，前两个方法是专门为最大熵模型而设计的，后两种方法为通用的算法。

4、LR、softmax和最大熵模型之间的关系

• Logistic回归是统计学习中的经典分类方法，可以用于二类分类也可以用于多类分类。
• 最大熵模型由最大熵原理推导出来，最大熵原理是概率模型学习或估计的一个准则，最大熵原理认为在所有可能的概率模型的集合中，熵最大的模型是最好的模型，最大熵模型也可以用于二类分类和多类分类。
• Logistic回归模型与最大熵模型都属于对数线性模型。
• 逻辑回归跟最大熵模型没有本质区别。逻辑回归是最大熵对应类别为二类时的特殊情况
• 指数簇分布的最大熵等价于其指数形式的最大似然。
• 二项式分布的最大熵解等价于二项式指数形式(sigmoid)的最大似然；
• 多项式分布的最大熵等价于多项式分布指数形式(softmax)的最大似然。

5、最大熵模型和决策树模型的比对分析

粗看起来，上述模型似乎与在决策树中选用信息增益最大的特征参量有点儿矛盾。因为信息增益最大，即意味着要得到熵最小的模型。

两个模型中关于熵的定义完全一样，均用来表征模型的有序程度。熵值越大，越是无序。但两个模型其实并不矛盾，理由如下：

• 二者应用的前提不同。对于最大熵模型而言，在所有满足约束条件的模型中，如果没有其他的参考信息，则选用熵最大的模型；而决策树模型中，由于提供了特征参量这样的额外参考信息，因此不能直接应用最大熵原理。

• 决策树并没有使用最小熵模型。我们都知道，完全生长决策树的熵是最小的，然而却常常不是最好的模型（容易“过拟合”），经过剪枝后的决策树反而能够反映真实数据分布。如果说树的分裂意味着熵的减小，则剪枝意味着熵的增加；这样看来，我们选择的其实是应用了所有已知信息之后熵较大的模型。

• 决策树的思路是尽可能去拟合数据，然后加剪枝减少过拟合。

• 最大熵模型是先给你均匀分布，然后挖掘数据集里面隐含的约束条件来重新构造分布，使用的约束条件少就会欠拟合。决策树里面首先会选择信息增益最大的轴和切分点来切分，如果在最大熵模型里面也加上这个约束，然后依次对应起来。如果模型其中之一预测的精度比较高，那么最终两个模型的预测结果会非常接近。

最大熵原理：承认已知事物（知识）；对未知事物不做任何假设，没有任何偏见。

两个角度认识未知事物：

• 最大熵模型：对不确定度的无偏分配；
• 最大似然估计：对知识的无偏理解。

参考资料：

• 统计学习方法–李航
• 最大熵模型 推导
• 最大熵模型（Maximum Entropy）
• 逻辑斯谛回归&最大熵模型

四、模型学习的最优化方法

1、改进的迭代尺度法（IIS）

改进的迭代尺度法(improved iterative scaling,IIS)是一种最大熵模型学习的最优化算法。

已知最大熵模型为：
$$P_w(y|x)=\frac{1}{Z_w(x)}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))\text{\hspace{1em}(22)}$$
$$Z_w(x)=\sum _{y}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))\text{\hspace{1em}(23)}$$
$$f(x,y)=\{\begin{array}{ll}1,& x与y满足某一事实\\ 0,& othervalues\end{array}$$

根据式（21）对数似然函数为：
$$L_{\tilde{P}}(w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)ln{Z}_w(x)\text{\hspace{1em}(24)}$$
这里我们可以看到$L_{\tilde{P}}(w)\le 0$，所以$L_{\tilde{P}}(w)=0$是最优的。

给定特征集 { f 1 , f 2 , … , f n } \{ f_1,f_2,…,f_n\} {f1​,f2​,…,fn​}，最大熵模型式（22）和经验分布$\tilde{P}(x,y)$，要求：
$$W^{\ast }\equiv argma{x}_w{L}_{\tilde{P}}(w)$$
将式（23）代入式（24）得：
$$L_{\tilde{P}}(w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\sum _{y}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))$$
对$w_i$求偏导得：
$$\frac{\partial L_{\tilde{P}}(w)}{\partial w_i}=\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _x\tilde{P}(x)P_w(y|x)f_i(x,y)$$
令导数等于0得：
$$\sum _{x,y}\tilde{P}(x,y)f_i(x,y)=\sum _x\tilde{P}(x)P_w(y|x)f_i(x,y)$$
如果模型能够获取训练数据中的信息，上式是一个必然成立的条件，也就是式（9）假设的两个期望相等$E_{\tilde{P}}(f)=E_P(f)$。

改进的迭代尺度法（IIS）思路：

假设最大熵模型当前的参数向量是$w=(w_1,w_2,\dots ,W_n{)}^T$，我们希望找到一个新的参数向量$w+\delta =(w_1+{\delta }_1,w_2+{\delta }_2,\dots ,w_n+{\delta }_n{)}^T$，使得模型的对数似然函数值增大。如果能有一种向量的更新方法$\tau :w\to w+\delta$，那么就可以重复使用这一方法直接找到对数似然函数的最大值。

根据式（24）得：
$$L_{\tilde{P}}(w+\delta )-L_{\tilde{P}}(w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n(w_i+{\delta }_i-w_i)f_i(x,y)-\sum _x\tilde{P}(x)ln{Z}_{w+\delta }(x)+\sum _x\tilde{P}(x)ln{Z}_w(x)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)-\sum _x\tilde{P}(x)ln\frac{Z_{w+\delta }(x)}{z_w(x)}$$
利用不等式：$-log\alpha \ge 1-\alpha ,(\alpha >0)$
$$L_{\tilde{P}}(w+\delta )-L_{\tilde{P}}(w)\ge \sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+\sum _x\tilde{P}(x)-\sum _x\tilde{P}(x)\frac{Z_{w+\delta }(x)}{z_w(x)}$$
因为${\sum }_x\tilde{P}(x)=1$，则有：
$$L_{\tilde{P}}(w+\delta )-L_{\tilde{P}}(w)\ge \sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\frac{Z_{w+\delta }(x)}{z_w(x)}$$
又因为：
$$\begin{gathered} \frac{Z_{w+\delta }(x)}{Z_w(x)}=\frac{1}{Z_w(x)}\sum _{y}exp(\sum _{i=1}^n(w_i+{\delta }_i)f_i(x,y)) \\ =\sum _y\frac{1}{Z_w(x)}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))exp(\sum _{i=1}^n{\delta }_i{f}_i(x,y)) \\ =\sum _y{P}_w(y|x)exp(\sum _{i=1}^n{\delta }_i{f}_i(x,y)) \end{gathered}$$
$$L_{\tilde{P}}(w+\delta )-L_{\tilde{P}}(w)\ge \sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)exp(\sum _{i=1}^n{\delta }_i{f}_i(x,y))$$
将右端记为：
$$A(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)exp(\sum _{i=1}^n{\delta }_i{f}_i(x,y))\text{\hspace{1em}(25)}$$
$$L_{\tilde{P}}(w+\delta )-L_{\tilde{P}}(w)\ge A(\delta |w)$$
如果能找到适当的$\delta$使下界$A(\delta |w)$提高，那么似然函数也会提高，但是$A(\delta |w)$是一个n维向量，不易于同时优化。IIS试图一次优化其中一个${\delta }_i$，而固定其他${\delta }_j$不变。为达到这一目的，并进一步降低下界，IIS引进新的量：
$$f^{\#}(x,y)=\sum _i{f}_i(x,y)$$
因为$f_i(x,y)$是一个二值函数，$f^{\#}(x,y)$表示特征(x,y)出现的次数。这样可以重写式（25）：
$$A(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)exp(f^{\#}(x,y)\sum _{i=1}^n\frac{{\delta }_i{f}_i(x,y)}{f^{\#}(x,y)})\text{\hspace{1em}(26)}$$
利用指数函数的凸函数性质，且$\frac{f_i(x,y)}{f^{\#}(x,y)}\ge 0$，使用Jensen不等式:
$$exp(\sum _{x}p(x)q(x))\le \sum p(x)exp(q(x))$$
$p(x)=\frac{f_i(x,y)}{f^{\#}(x,y)}$，$q(x)={\delta }_i{f}^{\#}(x,y)$则有：
$$-exp(\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}{\delta }_i{f}^{\#}(x,y))\ge -\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}exp({\delta }_i{f}^{\#}(x,y))$$
所以：
$$A(\delta |w)\ge \sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n(\frac{f_i(x,y)}{f^{\#}(x,y)})exp({\delta }_i{f}^{\#}(x,y))$$
不等式右边记为：
$$B(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n(\frac{f_i(x,y)}{f^{\#}(x,y)})exp({\delta }_i{f}^{\#}(x,y))$$
所以：
$$L_{\tilde{P}}(w+\delta )-L_{\tilde{P}}(w)\ge B(\delta |w)$$
对于新的下界$B(\delta |w)$，对${\delta }_i$求偏导得：
$$\frac{\partial B(\delta |w)}{\partial {\delta }_i}=\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)f_i(x,y)exp({\delta }_i{f}^{\#}(x,y))$$
令导数为0得：
$$\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)f_i(x,y)exp({\delta }_i{f}^{\#}(x,y))=\sum _{x,y}\tilde{P}(x,y)f_i(x,y)$$
$$\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)f_i(x,y)exp({\delta }_i{f}^{\#}(x,y))=E_{\tilde{P}}(f_i)\text{\hspace{1em}(27)}$$
依次对${\delta }_i$求解方程（27）从而求出$\delta$

改进的迭代尺度算法IIS

输入：特征函数$f_1,f_2,\dots ,f_n$，经验分布$\tilde{P}(X,Y)$，模型$P_w(y|x)$

输出：最优参数值$w_i^{\ast }$，最优模型$P_{w^{\ast }}$

（1）对所有 i ∈ { 1 , 2 , … , n } i\in \{1,2,…,n\} i∈{1,2,…,n}，取初值$w_i=0$

（2）对每一 i ∈ { 1 , 2 , … , n } i\in \{1,2,…,n\} i∈{1,2,…,n}：

(a) 令${\delta }_i$是方程
$$\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)f_i(x,y)exp({\delta }_i{f}^{\#}(x,y))=E_{\tilde{P}}(f_i)$$
的解，这里，
$$f^{\#}(x,y)=\sum _{i=1}^n{f}_i(x,y)$$
(b) 更新$w_i$值：$w_i\leftarrow w_i+{\delta }_i$

（3）如果不是所有的$w_i$都收敛，重复步骤（2）。

这一算法关键一步是（a），即求解方程（27）中的${\delta }_i$。如果$f^{\#}(x,y)$是常数，即对任何$x,y$，有$f^{\#}(x,y)=M$，那么${\delta }_i$可以显示地表示成
$${\delta }_i=\frac{1}{M}ln\frac{E_{\tilde{P}}(f_i)}{E_P(f_i)}\text{\hspace{1em}(28)}$$
如果$f^{\#}(x,y)$不是常数，那么必须通过数值计算求${\delta }_i$。简单有效的方法是牛顿法。以$g({\delta }_i)=0$表示方程（27），牛顿法通过迭代求得${\delta }_i^{\ast }$，使得${\delta }_i^{\ast }=0$，迭代的公式是
$${\delta }_i^{(k+1)}={\delta }_i^{(k)}-\frac{g({\delta }_i^{(k)})}{g\prime ({\delta }_i^{(k)})}\text{\hspace{1em}(29)}$$
只要适当选取初始值${\delta }_i^{(0)}$，由于${\delta }_i$的方程（27）有单根，因此牛顿法恒收敛，而且收敛速度很快。

2、拟牛顿法

这一部分有些难度，公式能看懂，要是应用代码实现感觉还是有困难，后面再完善和补充吧！发明这算法的人牛逼。

参考资料：

• 统计学习方法—李航
• 改进的迭代尺度算法(IIS)总结

$\ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast$

未完待续！代码实例