【统计学习方法】第6章 逻辑斯谛回归

逻辑斯谛回归（logistic regression）是统计学习中的经典分类方法.最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximum entropy model）。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。

1、逻辑斯缔回归模型

逻辑斯缔分布

设 $X$ 是连续随机变量， $X$ 服从逻辑斯缔分布(logistic distribution)是指 $X$ 具有下列分布函数和密度函数:
$$\begin{array}{l}F(x)=P(X⩽x)=\frac{1}{1+{\mathrm{e}}^{-(x-\mu )/\gamma }}\\ \\ f(x)=F^{\prime }(x)=\frac{{\mathrm{e}}^{-(x-\mu )/\gamma }}{\gamma {\left(1+{\mathrm{e}}^{-(x-\mu )/\gamma }\right)}^2}\end{array}$$

式中， $\mu$ 为位置参数, $\gamma >0$ 为形状参数.

二项逻辑斯谛回归模型

二项逻辑斯谛回归模型是如下的条件概率分布：$$\begin{array}{rl}& P\left(Y=1|x\right)=\frac{1}{1+\exp -\left(w\cdot x+b\right)}\\ & =\frac{\exp \left(w\cdot x+b\right)}{\left(1+\exp -\left(w\cdot x+b\right)\right)\cdot \exp \left(w\cdot x+b\right)}\\ & =\frac{\exp \left(w\cdot x+b\right)}{1+\exp \left(w\cdot x+b\right)}\\ & P\left(Y=0|x\right)=1-P\left(Y=1|x\right)\\ & =1-\frac{\exp \left(w\cdot x+b\right)}{1+\exp \left(w\cdot x+b\right)}\\ & =\frac{1}{1+\exp \left(w\cdot x+b\right)}\end{array}$$其中，$x\in R^n$是输入， Y ∈ { 0 , 1 } Y \in \left\{ 0, 1 \right\} Y∈{0,1}是输出，$w\in R^n$和$b\in R$是参数，$w$称为权值向量，$b$称为偏置，$w\cdot x$为$w$和$b$的内积。

可将权值权值向量和输入向量加以扩充，即$w={\left(w^{\left(1\right)},w^{\left(2\right)},\cdots ,w^{\left(n\right)},b\right)}^T$，$x={\left(x^{\left(1\right)},x^{\left(2\right)},\cdots ,x^{\left(n\right)},1\right)}^T$，则逻辑斯谛回归模型：$$\begin{array}{rl}& P\left(Y=1|x\right)=\frac{\exp \left(w\cdot x\right)}{1+\exp \left(w\cdot x\right)}\\ & P\left(Y=0|x\right)=\frac{1}{1+\exp \left(w\cdot x\right)}\end{array}$$

一个事件的几率是指事件发生的概率$p$与事件不发生的概率$1-p$的比值，即$$\begin{array}{rl}& \frac{p}{1-p}\end{array}$$

该事件的对数几率（logit函数）$$\begin{array}{rl}& logit\left(p\right)=\log \frac{p}{1-p}\end{array}$$

对于逻辑斯谛回归模型$$\begin{array}{rl}& \log \frac{P\left(Y=1|x\right)}{1-P\left(Y=1|x\right)}=w\cdot x\end{array}$$

即输出$Y=1$的对数几率是输入$x$的线性函数。

模型参数估计

给定训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } \begin{aligned} &T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\} \end{aligned} ​T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}​

其中， x i ∈ R n + 1 , y i ∈ { 0 , 1 } , i = 1 , 2 , ⋯   , N x_{i} \in R^{n+1}, y_{i} \in \left\{ 0, 1 \right\}, i = 1, 2, \cdots, N xi​∈Rn+1,yi​∈{0,1},i=1,2,⋯,N。

设：$$\begin{array}{rl}& P\left(Y=1|x\right)=\pi \left(x\right),P\left(Y=0|x\right)=1-\pi \left(x\right)\end{array}$$
似然函数$$\begin{array}{rl}& l\left(w\right)=\prod _{i=1}^{N}P\left(y_i|x_i\right)\\ & =P\left(Y=1|x_i,w\right)\cdot P\left(Y=0|x_i,w\right)\\ & =\prod _{i=1}^N{\left[\pi \left(x_i\right)\right]}^{y_i}{\left[1-\pi \left(x_i\right)\right]}^{1-y_i}\end{array}$$

对数似然函数$$\begin{array}{rl}& L\left(w\right)=\log l\left(w\right)\\ & =\sum _{i=1}^N\left[y_i\log \pi \left(x_i\right)+\left(1-y_i\right)\log \left(1-\pi \left(x_i\right)\right)\right]\\ & =\sum _{i=1}^N\left[y_i\log \frac{\pi \left(x_i\right)}{1-\pi \left(x_i\right)}+\log \left(1-\pi \left(x_i\right)\right)\right]\\ & =\sum _{i=1}^N\left[y_i\left(w\cdot x_i\right)-\log \left(1+\exp \left(w\cdot x\right)\right)\right]\end{array}$$

假设$w$的极大似然估计值是$\hat{w}$，则学到的逻辑斯谛回归模型$$\begin{array}{rl}& P\left(Y=1|x\right)=\frac{\exp \left(\hat{w}\cdot x\right)}{1+\exp \left(\hat{w}\cdot x\right)}\\ & P\left(Y=0|x\right)=\frac{1}{1+\exp \left(\hat{w}\cdot x\right)}\end{array}$$

多项逻辑斯谛回归

假设离散型随机变量$Y$的取值集合 { 1 , 2 , ⋯   , K } \left\{ 1, 2, \cdots, K \right\} {1,2,⋯,K}，则多项逻辑斯谛回归模型$$\begin{array}{rl}& P\left(Y=k|x\right)=\frac{\exp \left(w_k\cdot x\right)}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)},k=1,2,\cdots ,K-1\\ & P\left(Y=K|x\right)=1-\sum _{k=1}^{K-1}P\left(Y=k|x\right)\\ & =1-\sum _{k=1}^{K-1}\frac{\exp \left(w_k\cdot x\right)}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)}\\ & =\frac{1}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)}\end{array}$$

2、最大熵

最大熵模型（maximum entropy model）由最大熵原理推导实现。最大熵原理是概率模型学习的一个准则.最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。

最大熵模型的定义

训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } \begin{aligned} & T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\} \end{aligned} ​T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}​

假设分类模型是条件概率分布$P\left(Y|X\right),X\in \mathcal{X}\subseteq R^n$表示输入，$Y\in \mathcal{Y}$表示输出。给定输入$X$，以条件概率$P\left(Y|X\right)$输出$Y$。

特征函数$f\left(x,y\right)$描述输入$x$和输出$y$之间的某一事实，$$\begin{array}{r}f\left(x,y\right)=\{\begin{array}{rl}& 1,x与y满足某一事实\\ & 0,否则\end{array}\end{array}$$

特征函数$f\left(x,y\right)$关于经验分布$\tilde{P}\left(X,Y\right)$的期望$$\begin{array}{rl}& E_{\tilde{P}}\left(f\right)=\sum _{x,y}\tilde{P}\left(x,y\right)f\left(x,y\right)\end{array}$$

特征函数$f\left(x,y\right)$关于模型$P\left(Y|X\right)$与经验分布$\tilde{P}\left(X\right)$的期望$$\begin{array}{rl}& E_P\left(f\right)=\sum _{x,y}\tilde{P}\left(x\right)P\left(y|x\right)f\left(x,y\right)\end{array}$$

最大熵模型：假设满足所有约束条件的模型集合为 C ≡ { P ∈ P ∣ E P ( f i ) = E P ~ ( f i ) , i = 1 , 2 , ⋯   , n } \begin{aligned} & \mathcal{C} \equiv \left\{ P \in \mathcal{P} | E_{ P } \left( f_{i} \right) = E_{ \tilde{P} } \left( f_{i} \right), i = 1,2, \cdots, n \right\}\end{aligned} ​C≡{P∈P∣EP​(fi​)=EP~​(fi​),i=1,2,⋯,n}​

定义在条件概率分布$P\left(Y|X\right)$上的条件熵为
$$\begin{array}{rl}& H\left(P\right)=-\sum _{x,y}\tilde{P}\left(x\right)P\left(y|x\right)\log P\left(y|x\right)\end{array}$$

则模型集合$\mathcal{C}$中条件熵$H\left(P\right)$最大的模型称为最大熵模型。

最大熵模型的学习

给定训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}以及特征函数$f_i\left(x,y\right),i=1,2,\cdots ,n$，最大熵模型的学习等价于最优化问题：
$$\begin{array}{rl}\underset{P\in \mathcal{C}}{\max }& H\left(P\right)=-\sum _{x,y}\tilde{P}\left(x\right)P\left(y|x\right)\log P\left(y|x\right)\\ s.t.& E_P\left(f_i\right)=E_{\tilde{P}}\left(f_i\right),i=1,2,\cdots ,n\\ & \sum _{y}P\left(y|x\right)=1\end{array}$$

等价的
$$\begin{array}{rl}\underset{P\in \mathcal{C}}{\min }& -H\left(P\right)=\sum _{x,y}\tilde{P}\left(x\right)P\left(y|x\right)\log P\left(y|x\right)\\ s.t.& E_P\left(f_i\right)-E_{\tilde{P}}\left(f_i\right)=0,i=1,2,\cdots ,n\\ & \sum _{y}P\left(y|x\right)=1\end{array}$$

最优化问题的求解：

1. 引入拉格朗日乘子$w_i,i=0,1,\cdots ,n$，定义拉格朗日函数$L\left(P,w\right)$$$\begin{array}{rl}& L\left(P,w\right)=-H\left(P\right)+w_0\left(1-\sum _{y}P\left(y|x\right)\right)+\sum _{i=1}^n{w}_i\left(E_P\left(f_i\right)-E_{\tilde{P}}\left(f_i\right)\right)\\ & =\sum _{x,y}\tilde{P}\left(x\right)P\left(y|x\right)\log P\left(y|x\right)+w_0\left(1-\sum _{y}P\left(y|x\right)\right)\\ & +\sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}\left(x\right)P\left(y|x\right)f_i\left(x,y\right)-\sum _{x,y}\tilde{P}\left(x,y\right)f_i\left(x,y\right)\right)\end{array}$$

2. 求${\min }_{P\in \mathcal{C}}L\left(P,w\right)$:

   记对偶函数$\Psi \left(w\right)=mi{n}_{P\in \mathcal{C}}L\left(P,w\right)=L\left(P_w,w\right)$，其解记$P_w=\arg {\min }_{P\in \mathcal{C}}L\left(P,w\right)=P_w\left(y|x\right)$$$\begin{array}{rl}& \frac{\partial L\left(P,w\right)}{\partial P\left(y|x\right)}=\sum _{x,y}\tilde{P}\left(x\right)\left(\log P\left(y|x\right)+1\right)-\sum _y{w}_0-\sum _{x,y}\left(\tilde{P}\left(x\right)\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)\\ & =\sum _{x,y}\tilde{P}\left(x\right)\left(\log P\left(y|x\right)+1\right)-\sum _{x,y}P\left(x\right)w_0-\sum _{x,y}\left(\tilde{P}\left(x\right)\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)\\ & =\sum _{x,y}\tilde{P}\left(x\right)\left(\log P\left(y|x\right)+1-w_0-\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)=0\end{array}$$

   由于$\tilde{P}\left(x\right)>0$，得$$\begin{array}{rl}& \log P\left(y|x\right)+1-w_0-\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)=0\\ & P\left(y|x\right)=\exp \left(\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)+w_0-1\right)=\frac{\exp \left({\sum }_{i=1}^n{w}_i{f}_i\left(x,y\right)\right)}{\exp \left(1-w_0\right)}\end{array}$$

   由于${\sum }_{y}P\left(y|x\right)=1$，则$$\begin{array}{rl}& \sum _{y}P\left(y|x\right)=\sum _y\frac{\exp \left({\sum }_{i=1}^n{w}_i{f}_i\left(x,y\right)\right)}{\exp \left(1-w_0\right)}=1\\ & \sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)=\exp \left(1-w_0\right)\end{array}$$

   代入，得$$\begin{array}{rl}& P\left(y|x\right)=\frac{1}{Z_w\left(x\right)}\exp \left(\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)\end{array}$$

   其中$$\begin{array}{r}{Z}_w=\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)\end{array}$$

   $Z_w$称为规范化因子；$f_i\left(x,y\right)$是特征函数；$w_i$是特征的权值。

3. 求${\max }_w\Psi \left(w\right)$
   将其解记为$w^{\ast }$，即$$\begin{array}{r}{w}^{\ast }=\arg \underset{w}{\max }\Psi \left(w\right)\end{array}$$

这就是说，可以应用最优化算法求对偶函数 $\Psi (w)$ 的极大化，得到 $w^{\ast }$ ，用来 表示 $P^{\ast }\in \mathcal{C}.$ 这里, $P^{\ast }=P_{w^{\ast }}=P_{w^{\ast }}(y\mid x)$ 是学习到的最优模型（最大嫡模型）. 也 就是说，最大嫡模型的学习归结为对偶函数 $\Psi (w)$ 的极大化.

极大似然估计

已知训练数据的经验概率分布$\tilde{P}\left(X,Y\right)$，则条件概率分布$P\left(X|Y\right)$的对数似然函数$$\begin{array}{rl}& L_{\tilde{P}}\left(P_w\right)=\log \prod _{x,y}P{\left(y|x\right)}^{\tilde{P}\left(x,y\right)}\\ & =\sum _{x,y}\tilde{P}\left(x,y\right)\log P\left(y|x\right)\\ & =\sum _{x,y}\tilde{P}\left(x,y\right)\log \frac{\exp \left({\sum }_{i=1}^n{w}_i{f}_i\left(x,y\right)\right)}{Z_w\left(x\right)}\\ & =\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)-\sum _{x,y}\tilde{P}\left(x,y\right)\log Z_w\left(x\right)\\ & =\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)-\sum _x\tilde{P}\left(x\right)\log Z_w\left(x\right)\end{array}$$

对偶函数$$\begin{array}{rl}& \Psi \left(w\right)=mi{n}_{P\in \mathcal{C}}L\left(P,w\right)=L\left(P_w,w\right)\\ & =-H\left(P_w\right)+w_0\left(1-\sum _y{P}_w\left(y|x\right)\right)+\sum _{i=1}^n{w}_i\left(E_{\tilde{P}}\left(f_i\right)-E_{P_w}\left(f_i\right)\right)\\ & =\sum _{x,y}\tilde{P}\left(x\right)P_w\left(y|x\right)\log P_w\left(y|x\right)\\ & +w_0\left(1-\sum _y\frac{1}{Z_w\left(x\right)}\exp \left(\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)\right)\\ & +\sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}\left(x,y\right)f_i\left(x,y\right)-\sum _{x,y}\tilde{P}\left(x\right)P_w\left(y|x\right)f_i\left(x,y\right)\right)\\ & =\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)+\sum _{x,y}\tilde{P}\left(x\right)P_w\left(y|x\right)\left(\log P_w\left(y|x\right)-\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)\\ & =\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)-\sum _{x,y}\tilde{P}\left(x,y\right)\log Z_w\left(x\right)\\ & =\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)-\sum _x\tilde{P}\left(x\right)\log Z_w\left(x\right)\end{array}$$

得$$\begin{array}{rl}& L_{\tilde{P}}\left(P_w\right)=\Psi \left(w\right)\end{array}$$

即，最大熵模型的极大似然估计等价于对偶函数极大化。

改进的迭代尺度法

已知最大熵模型$$\begin{array}{rl}& P_w\left(y|x\right)=\frac{1}{Z_w\left(x\right)}\exp \left(\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)\end{array}$$

其中$$\begin{array}{r}{Z}_w=\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)\end{array}$$

$Z_w$称为规范化因子；$f_i\left(x,y\right)$是特征函数；$w_i$是特征的权值。

对数似然函数$$\begin{array}{rl}& L\left(w\right)=\sum _{x,y}\tilde{P}\left(x,y\right)\log P_w\left(y|x\right)\\ & =\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)-\sum _x\tilde{P}\left(x\right)\log Z_w\left(x\right)\end{array}$$

IIS 的想法是: 假设最大嫡模型当前的参数向量是 $w={\left(w_1,w_2,\cdots ,w_n\right)}^{\mathrm{T}}$ ，我们 希望找到一个新的参数向量 $w+\delta ={\left(w_1+{\delta }_1,w_2+{\delta }_2,\cdots ,w_n+{\delta }_n\right)}^{\mathrm{T}},$ 使得模型的对数
似然函数值增大. 如果能有这样一种参数向量更新的方法 $\tau :w\to w+\delta$ ，那么就 可以重复使用这一方法，直至找到对数似然函数的最大值.

对于给定的经验分布$\tilde{P}$，模型参数从$w$到$w+\delta$，对数似然函数的改变量$$\begin{array}{rl}& L\left(w+\delta \right)-L\left(w\right)=\sum _{x,y}\tilde{P}\left(x,y\right)\log P_{w+\delta }\left(y|x\right)-\sum _{x,y}\tilde{P}\left(x,y\right)\log P_w\left(y|x\right)\\ & =\left(\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n\left(w_i+{\delta }_i\right)f_i\left(x,y\right)-\sum _x\tilde{P}\left(x\right)\log Z_{w+\delta }\left(x\right)\right)\\ & -\left(\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)-\sum _x\tilde{P}\left(x\right)\log Z_w\left(x\right)\right)\\ & =\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{\delta }_i{f}_i\left(x,y\right)-\sum _x\tilde{P}\left(x\right)\log \frac{Z_{w+\delta }\left(x\right)}{Z_w\left(x\right)}\end{array}$$

由$$\begin{array}{rl}-\log \alpha \ge 1-\alpha ,\alpha & gt;0\end{array}$$

得$$\begin{array}{rl}& L\left(w+\delta \right)-L\left(w\right)\ge \sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{\delta }_i{f}_i\left(x,y\right)+1-\sum _x\tilde{P}\left(x\right)\frac{Z_{w+\delta }\left(x\right)}{Z_w\left(x\right)}\\ & =\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{\delta }_i{f}_i\left(x,y\right)+1-\sum _x\tilde{P}\left(x\right)\frac{{\sum }_y\exp \left({\sum }_{i=1}^n\left(w_i+{\delta }_i\right)f_i\left(x,y\right)\right)}{{\sum }_y\exp \left({\sum }_{i=1}^n{w}_i{f}_i\left(x,y\right)\right)}\\ & =\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{\delta }_i{f}_i\left(x,y\right)+1-\sum _x\tilde{P}\left(x\right)\sum _y\frac{\exp \left({\sum }_{i=1}^n{w}_i{f}_i\left(x,y\right)\right)}{{\sum }_y\exp \left({\sum }_{i=1}^n{w}_i{f}_i\left(x,y\right)\right)}\exp \left(\sum _{i=1}^n{\delta }_i{f}_i\left(x,y\right)\right)\\ & =\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{\delta }_i{f}_i\left(x,y\right)+1-\sum _x\tilde{P}\left(x\right)\sum _y{P}_w\left(y|x\right)\exp \left(\sum _{i=1}^n{\delta }_i{f}_i\left(x,y\right)\right)\end{array}$$

记$$\begin{array}{rl}& A\left(\delta |w\right)=\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{\delta }_i{f}_i\left(x,y\right)+1-\sum _x\tilde{P}\left(x\right)\sum _y{P}_w\left(y|x\right)\exp \left(\sum _{i=1}^n{\delta }_i{f}_i\left(x,y\right)\right)\end{array}$$

则
$$\begin{array}{rl}& L\left(w+\delta \right)-L\left(w\right)\ge A\left(\delta |w\right)\end{array}$$

即$A\left(\delta |w\right)$是对数似然函数改变量的一个下界。

如果能找到适当的 $\delta$ 使下界 $A(\delta \mid w)$ 提高，那么对数似然函数也会提高. 然 而，函数 $A(\delta \mid w)$ 中的 $\delta$ 是一个向量，含有多个变量，不易同时优化. IIS 试图一 次只优化其中一个变量 ${\delta }_i,$ 而固定其他变量 ${\delta }_i,i\ne j.$

引入$$\begin{array}{rl}& f^{\#}\left(x,y\right)=\sum _i{f}_i\left(x,y\right)\end{array}$$

表示所有特征在$\left(x,y\right)$出现的次数 则$$\begin{array}{rl}& A\left(\delta |w\right)=\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{\delta }_i{f}_i\left(x,y\right)+1-\sum _x\tilde{P}\left(x\right)\sum _y{P}_w\left(y|x\right)\exp \left(f^{\#}\left(x,y\right)\sum _{i=1}^n\frac{{\delta }_i{f}_i\left(x,y\right)}{f^{\#}\left(x,y\right)}\right)\end{array}$$

对任意$i$，有$\frac{f_i\left(x,y\right)}{f^{\#}\left(x,y\right)}\ge 0$且${\sum }_{i=1}^n\frac{f_i\left(x,y\right)}{f^{\#}\left(x,y\right)}=1$,
根据Jensen不等式，得
$$\begin{array}{rl}& \exp \left(\sum _{i=1}^n\frac{f_i\left(x,y\right)}{f^{\#}\left(x,y\right)}{\delta }_i{f}_{\#}\left(x,y\right))\right)\le \sum _{i=1}^n\frac{f_i\left(x,y\right)}{f^{\#}\left(x,y\right)}\exp \left({\delta }_i{f}^{\#}\left(x,y\right)\right)\end{array}$$

则$$\begin{array}{rl}& A\left(\delta |w\right)\ge \sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{\delta }_i{f}_i\left(x,y\right)+1-\sum _x\tilde{P}\left(x\right)\sum _y{P}_w\left(y|x\right)\sum _{i=1}^n\left(\frac{f_i\left(x,y\right)}{f^{\#}\left(x,y\right)}\right)\exp \left({\delta }_i{f}^{\#}\left(x,y\right)\right)\end{array}$$

记$$\begin{array}{rl}& B\left(\delta |w\right)=\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{\delta }_i{f}_i\left(x,y\right)+1-\sum _x\tilde{P}\left(x\right)\sum _y{P}_w\left(y|x\right)\sum _{i=1}^n\left(\frac{f_i\left(x,y\right)}{f^{\#}\left(x,y\right)}\right)\exp \left({\delta }_i{f}^{\#}\left(x,y\right)\right)\end{array}$$

则
$$\begin{array}{rl}& L\left(w+\delta \right)-L\left(w\right)\ge A\left(\delta |w\right)\ge B\left(\delta |w\right)\end{array}$$

即$B\left(\delta |w\right)$是对数似然函数改变量的一个新的（相对不紧的）下界。

求$$\begin{array}{rl}& \frac{\partial B\left(\delta |w\right)}{\partial {\delta }_i}=\sum _{x,y}\tilde{P}\left(x,y\right)f_i\left(x,y\right)-\sum _x\tilde{P}\left(x\right)\sum _y{P}_w\left(y|x\right)f_i\left(x,y\right)\exp \left({\delta }_i{f}^{\#}\left(x,y\right)\right)\end{array}$$
令$\frac{\partial B\left(\delta |w\right)}{\partial {\delta }_i}=0$，得
$$\begin{array}{rl}& \sum _{x,y}\tilde{P}\left(x,y\right)f_i\left(x,y\right)=\sum _{x,y}\tilde{P}\left(x\right)P_w\left(y|x\right)f_i\left(x,y\right)\exp \left({\delta }_i{f}^{\#}\left(x,y\right)\right)\end{array}$$

对${\delta }_i$求解可解得$\delta$

改进的迭代尺度算法（IIS）：

• 输入：特征函数$f_i,i=1,2,\cdots ,n$，经验分布$\tilde{P}\left(x,y\right)$，模型$P_w\left(y|x\right)$
• 输出：最优参数值$w_i^{\ast }$；最优模型$P_{w^{\ast }}$

1. 对所有 i ∈ { 1 , 2 , ⋯   , n } i \in \left\{ 1, 2, \cdots, n \right\} i∈{1,2,⋯,n}，取$w_i=0$；

2. 对每一 i ∈ { 1 , 2 , ⋯   , n } i \in \left\{ 1, 2, \cdots, n \right\} i∈{1,2,⋯,n}
   2.1. 令${\delta }_i$是方程$$\begin{array}{rl}& \sum _{x,y}\tilde{P}\left(x,y\right)f_i\left(x,y\right)=\sum _{x,y}\tilde{P}\left(x\right)P_w\left(y|x\right)f_i\left(x,y\right)\exp \left({\delta }_i{f}^{\#}\left(x,y\right)\right)\end{array}$$
   的解

   2.2. 更新$w_i$的值$$\begin{array}{rl}& w_i\leftarrow w_i+{\delta }_i\end{array}$$

3. 如果不是所有$w_i$都收敛，重复步骤2.

3、概要总结

逻辑斯谛回归(LR)是经典的分类方法

1．逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型可以用于二类或多类分类。

$$P(Y=k|x)=\frac{\exp \left(w_k\cdot x\right)}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)},k=1,2,\cdots ,K-1$$$$P(Y=K|x)=\frac{1}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)}$$

这里，$x$为输入特征，$w$为特征的权值。

逻辑斯谛回归模型源自逻辑斯谛分布，其分布函数$F(x)$是$S$形函数。逻辑斯谛回归模型是由输入的线性函数表示的输出的对数几率模型。

2．最大熵模型是由以下条件概率分布表示的分类模型。最大熵模型也可以用于二类或多类分类。

$$P_w(y|x)=\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$$$Z_w(x)=\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$

其中，$Z_w(x)$是规范化因子，$f_i$为特征函数，$w_i$为特征的权值。

3．最大熵模型可以由最大熵原理推导得出。最大熵原理是概率模型学习或估计的一个准则。最大熵原理认为在所有可能的概率模型（分布）的集合中，熵最大的模型是最好的模型。

最大熵原理应用到分类模型的学习中，有以下约束最优化问题：

$$\begin{array}{rl}\underset{P\in \mathcal{C}}{\min }& -H\left(P\right)=\sum _{x,y}\tilde{P}\left(x\right)P\left(y|x\right)\log P\left(y|x\right)\\ s.t.& E_P\left(f_i\right)-E_{\tilde{P}}\left(f_i\right)=0,i=1,2,\cdots ,n\\ & \sum _{y}P\left(y|x\right)=1\end{array}$$

求解此最优化问题的对偶问题得到最大熵模型。

4．逻辑斯谛回归模型与最大熵模型都属于对数线性模型。

5．逻辑斯谛回归模型及最大熵模型学习一般采用极大似然估计，或正则化的极大似然估计。逻辑斯谛回归模型及最大熵模型学习可以形式化为无约束最优化问题。求解该最优化问题的算法有改进的迭代尺度法、梯度下降法、拟牛顿法。

回归模型：$f(x)=\frac{1}{1+e^{-wx}}$

其中$wx$线性函数：$wx=w_0\cdot x_0+w_1\cdot x_1+w_2\cdot x_2+...+w_n\cdot x_n,(x_0=1)$