（五）统计学习方法 | 逻辑斯谛回归与最大熵模型

---

1. 逻辑斯谛回归模型

1.1 简介与定义

逻辑斯谛回归式统计学习中的经典分类方法，属于对数线性模型。

1.2 逻辑斯谛分布

设$X$式连续随机变量，$X$服从逻辑斯蒂回归是指$X$具有下列分布函数和密度函数：$$F(x)=P(X\le x)=\frac{1}{1+{\mathrm{e}}^{-(x-\mu )/\gamma }}\text{\hspace{1em}(1)}$$

$$f(x)=F^{\prime }(x)=\frac{{\mathrm{e}}^{-(x-\mu )/\gamma }}{\gamma (1+{\mathrm{e}}^{-(x-\mu )/\gamma }{)}^2}\text{\hspace{1em}(2)}$$

式中，$\mu$为位置参数，$\gamma >0$为形状参数。其数学图像如下：

分布函数图像属于逻辑斯谛函数，曲线是一条$S$型曲线，该曲线以$(\mu ,1/2)$为中心对称，即满足：$$F(-x+\mu )-\frac{1}{2}=-F(x+\mu )+\frac{1}{2}$$

曲线在中心附近增长速度较快，在两端增长速度较慢，而参数$\gamma$用于控制曲线在中心附近的增长速度。

1.3 二项逻辑斯谛回归模型

二项逻辑斯谛回归模型式一种分类模型，由条件概率分布$P(Y|X)$表示，形式为参数化的逻辑斯谛分布。这里，$X$的取值为实数，$Y$的取值为$0$或$1$：$$P(Y=1|x)=\frac{\exp (w\cdot x+b)}{1+\exp (w\cdot x+b)}\text{\hspace{1em}(3)}$$

$$P(Y=0|x)=\frac{1}{1+\exp (w\cdot x+b)}\text{\hspace{1em}(4)}$$

这里，$x\in {\mathbf{R}}^n$是输入， Y ∈ { 0 , 1 } Y\in\{0,1\} Y∈{0,1}是输出，$w\in {\mathbf{R}}^n$和$b\in \mathbf{R}$是参数。$w$称为权值向量，$b$称为偏置。根据上式可以求得对于输入实例$x$的值，然后将实例$x$分到概率较大的那一类。现在，将权值向量和输入向量扩充一个维度，即$w=(w^{(1)},w^{(2)},...,w^{(n)},b{)}^{\mathrm{T}}$，$x=(x^{(1)},x^{(2)},...,x^{(n)},1{)}^{\mathrm{T}}$：
$$P(Y=1|x)=\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)}\text{\hspace{1em}(5)}$$

$$P(Y=0|x)=\frac{1}{1+\exp (w\cdot x)}\text{\hspace{1em}(6)}$$

现在，定义几率为事件发生的概率与事件不发生概率的比值，则该事件的对数几率为：$$\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{i}\mathrm{t}(p)=\log \frac{p}{1-p}\text{\hspace{1em}(7)}$$

而对于逻辑斯谛回归而言，有：$$\log \frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot x\text{\hspace{1em}(8)}$$

上式表明，在逻辑斯谛回归模型中，输出$Y=1$的对数几率是输入$x$的线性函数。对于式（5）和式（8），如果分子项$P(Y=1|x)$越接近$1$，则线性函数$w\cdot x$的值约接近正无穷；同理，如果线性函数$w\cdot x$的值约接近负无穷，$P(Y=1|x)$越接近$0$。这也对应了上图中逻辑斯谛分布的函数图像。

1.3 模型参数估计

逻辑斯谛回归模型学习时，对于给定的训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中$x_i\in {\mathbf{R}}^n$、 y i ∈ { 0 , 1 } y_i\in \{0,1\} yi​∈{0,1}，可以应用极大似然估计法估计模型参数，从而得到逻辑斯谛回归模型。设：$$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$$

则似然函数可以写为：$$\prod _{i=1}^N{\left[\pi (x_i)\right]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$

对似然函数求对数：$$\begin{array}{rl}L(w)& =\sum _{i=1}^N\left[y_i\log \pi (x_i)+(1-y_i)\log (1-\pi (x_i))\right]\\ & =\sum _{i=1}^N\left[y_i\log \frac{\pi (x_i)}{1-\pi (x_i)}+\log (1-\pi (x_i))\right]\\ & =\sum _{i=1}^N\left[y_i(w\cdot x_i)-\log (1+\exp (w\cdot x_i))\right]\end{array}\text{\hspace{1em}(9)}$$

然后对$L(w)$求极大值，即可得到$w$的估计值。逻辑斯谛回归学习中通常采用的方法是梯度下降法和拟牛顿法。

1.4 多项逻辑斯谛回归模型

假设随机变量$Y$的取值集合是 { 1 , 2 , . . . , K } \{1,2,...,K\} {1,2,...,K}，那么其形式为：$$P(Y=k|x)=\frac{\exp (w_k\cdot x)}{1+\sum _{k=1}^{K-1}\exp (w_k\cdot x)},k=1,2,...,K-1\text{\hspace{1em}(10)}$$

$$P(Y=K|x)=\frac{1}{1+\sum _{k=1}^{K-1}\exp (w_k\cdot x)}\text{\hspace{1em}(11)}$$

---

2. 最大熵模型

2.1 简介与定义

最大熵模型是由最大熵原理推导实现的。

2.2 最大熵原理

最大熵原理认为，学习概率模型时，在所有可能的概率分布中，熵最大的模型是最好的模型。假设离散随机变量$X$的概率分布是$P(X)$，则其熵是：
$$H(P)=-\sum _{x}P(x)\log P(x)$$

熵满足下列不等式：
$$0\le H(P)\le \log |X|$$

式中$|X|$是$X$的取值个数，当且仅当$X$的分布是均匀分布时右边的等号成立。直观地，最大熵原理认为要选择的概率模型首先必须满足已有的事实，即约束条件。在没有更多信息的情况下，那些不确定的部分都是等可能的。最大熵原理通过熵的最大化来表示等可能性。

例题 假设随机变量$X$有$5$个取值 { A , B , C , D , E } \{A,B,C,D,E\} {A,B,C,D,E}，要估计取各个值的概率$P(A),P(B),P(C),P(D),P(E)$。

解 这些概率值满足以下约束条件：$$P(A)+P(B)+P(C)+P(D)+P(E)=1$$

而满足这个约束条件的分布有无穷多个。如果没有任何其他信息，仍要对概率分布进行估计，一个办法就是认为这个分布中取各个值的概率都是相等的：$$P(A)=P(B)=P(C)=P(D)=P(E)=\frac{1}{5}$$

等概率表示了对事实的无知。有时，能从一些先验知识中得到一些对概率值的约束条件，如：
$$P(A)+P(B)=\frac{3}{10}$$

$$P(A)+P(B)+P(C)+P(D)+P(E)=1$$

2.3 最大熵模型的定义

假设分类模型是一个条件概率分布$P(Y|X)$，$X\in \mathcal{X}\in {\mathbf{R}}^n$表示输入，$Y\in \mathcal{Y}$表示输出，$\mathcal{X}$和$\mathcal{Y}$分别是输入和输出的集合。这个模型表示的是对于给定的输入$X$，以条件概率$P(Y|X)$输出$Y$。给定一个训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}

学习的目标是用最大熵原理选择最好的分类模型。给定训练数据集，可以确定联合分布$P(X,Y)$的经验分布和边缘分布$P(X)$的经验分布，分别以$\tilde{P}(X,Y)$和$\tilde{P}(X)$表示：$$\tilde{P}(X=x,Y=y)=\frac{\nu (X=x,Y=y)}{N}$$

$$\tilde{P}(X=x)=\frac{\nu (X=x)}{N}$$

式中$\nu (X=x,Y=y)$表示训练数据中样本$(x,y)$出现的频数，$\nu (X=x)$表示训练中输入$x$出现的频数，$N$表示训练样本容量。然后用一个特征函数$f(x,y)$描述输入$x$和输出$y$之间的某一个事实。其定义是：$$f(x,y)=\{\begin{array}{rl}& 1,x与y满足某一事实\\ & 0,否则\end{array}$$

特征函数$f(x,y)$关于经验分布$\tilde{P}(X,Y)$的期望值：$$E_{\tilde{P}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$

特征函数$f(x,y)$关于模型$P(Y|X)$与经验分布$\tilde{P}(X,Y)$的期望值：$$E_P(f)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$

如果模型能够获取训练中的信息，那么就可以假设这两个期望值相等，即：
$$E_{\tilde{P}}(f)=E_P(f)$$

即：
$$\sum _{x,y}\tilde{P}(x,y)f(x,y)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$

上式即为模型学习的约束条件。

最大熵模型 假设满足所有约束条件的模型集合为： C = { P ∈ P ∣ E P ( f i ) = E P ~ ( f i ) ,   i = 1 , 2 , . . . , n } \mathcal C=\{P\in\mathcal P|E_{P}(f_i)=E_{\tilde P}(f_i),\ i=1,2,...,n\} C={P∈P∣EP​(fi​)=EP~​(fi​), i=1,2,...,n}

定义在条件概率分布$P(Y|X)$上的条件熵为：$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)$$

则模型集合$\mathcal{C}$中条件熵$H(P)$最大的模型称为最大熵模型。

2.4 最大熵模型的学习

最大熵模型的学习过程就是求解最大熵模型的过程，也可以形式化为约束最优化问题。给定训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}以及特征函数$f_i(x,y),i=1,2,...n$，最大熵模型的学习等价于约束最优化问题：$$\underset{P\in \mathcal{C}}{\max }H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)$$

$$s.t.E_P(f_i)=E_{\tilde{P}}(f_i),i=1,2,...,n\sum _{y}P(y|x)=1$$

我们将求最大值转化成等价的求最小值问题：
$$\underset{P\in \mathcal{C}}{\min }-H(P)=\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)$$

$$s.t.E_P(f_i)=E_{\tilde{P}}(f_i),i=1,2,...,n\sum _{y}P(y|x)=1$$

对于上述优化问题，首先，引进拉格朗日乘子$w_0,w_1,...,w_n$，定义拉格朗日函数$L(P,w)$：
$$\begin{array}{rl}L(P,w)& \equiv -H(P)+w_0\left(1-\sum _{y}P(y|x)\right)+\sum _{i=1}^n{w}_i(E_{\tilde{P}}(f_i)-E_P(f_i))\\ & =-\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)+w_0\left(1-\sum _{y}P(y|x)\right)+\\ & \sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}(x,y)f(x,y)-\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)\right)\end{array}$$

最优化的原始问题是：
$$\underset{P\in \mathbf{C}}{\min }\underset{w}{\max }L(P,w)$$

对偶问题是：
$$\underset{w}{\max }\underset{P\in \mathbf{C}}{\min }L(P,w)$$

首先求解内部的极小化问题$\underset{P\in \mathbf{C}}{\min }L(P,w)$，记作：$$\Psi (w)=\underset{P\in \mathbf{C}}{\min }L(P,w)=L(P_w,w)$$

将上式的解记为：$$P_w=\arg \underset{P\in \mathbf{C}}{\min }L(P,w)=P_w(y|x)$$

然后求$L(P,w)$对$P(y|x)$的偏导数：
$$\begin{array}{rl}\frac{\partial L(P,w)}{\partial P(y|x)}& =\sum _{x,y}\tilde{P}(x)(\log P(y|x)+1)-\sum _y{w}_0-\sum _{x,y}\left(\tilde{P}(x)\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\\ & =\sum _{x,y}\tilde{P}(x)\left(\log P(y|x)+1-w_0-\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\end{array}$$

令偏导数等于$0$且在$\tilde{P}(x)>0$的情况下，解得：
$$P(y|x)=\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)+w_0-1\right)=\frac{\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)}{\exp (1-w_0)}$$

由于存在约束条件$\sum _{y}P(y|x)=1$，得（这里根据和为$1$的条件将上式中的分母替换）：
$$P_w(y|x)=\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$

其中：$$Z_w(x)=\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$

$Z_w(x)$称为规范化因子；$f_i(x,y)$是特征函数；$w_i$是特征的权值。之后，求解对偶问题外部的极大化问题：$$\underset{w}{\max }\Psi (w)$$

将其解记为$w^{\ast }$，即：$$w^{\ast }=\arg \underset{w}{\min }\Psi (w)$$

解例题 首先，分别以$y_1,y_2,y_3,y_4,y_5$表示$A,B,C,D,E$，于是最大熵模型学习的最优化问题是：$$\min -H(P)=\sum _{i=1}^{5}P(y_i)\log P(y_i)$$

$$s.t.P(y_1)+P(y_2)=\tilde{P}(y_1)+\tilde{P}(y_2)=\frac{3}{10}$$

$$\sum _{i=1}^{5}P(y_i)=\sum _{i=1}^5\tilde{P}(y_i)=1$$

引进拉格朗日乘子$w_0,w_1$，定义拉格朗日函数：$$L(P,w)=\sum _{i=1}^{5}P(y_i)\log P(y_i)+w_1\left(P(y_1)+P(y_2)-\frac{3}{10}\right)+w_0\left(\sum _{i=1}^{5}P(y_i)-1\right)$$

根据朗格朗日对偶性，上述优化问题为：$$\underset{w}{\max }\underset{P}{\min }L(P,w)$$

首先求解$L(P,w)$关于$P$的极小化问题。为此，首先求偏导数：$$\frac{\partial L(P,w)}{\partial P(y_1)}=1+\log P(y_1)+w_1+w_0$$

$$\frac{\partial L(P,w)}{\partial P(y_2)}=1+\log P(y_2)+w_1+w_0$$

$$\frac{\partial L(P,w)}{\partial P(y_3)}=1+\log P(y_3)+w_0$$

$$\frac{\partial L(P,w)}{\partial P(y_4)}=1+\log P(y_4)+w_0$$

$$\frac{\partial L(P,w)}{\partial P(y_5)}=1+\log P(y_5)+w_0$$

然后令各偏导数为$0$，解得：
$$P(y_1)=P(y_2)={\mathrm{e}}^{-w_1-w_0-1}$$

$$P(y_3)=P(y_4)=P(y_5)={\mathrm{e}}^{-w_0-1}$$

所以有：$$\underset{P}{\min }L(P,w)=L(P_w,w)=-2{\mathrm{e}}^{-w_1-w_0-1}-3{\mathrm{e}}^{-w_0-1}-\frac{3}{10}{w}_1-w_0$$

再求解$L(P_w,w)$关于$w$的极大化问题：
$$\underset{w}{\max }L(P_w,w)=-2{\mathrm{e}}^{-w_1-w_0-1}-3{\mathrm{e}}^{-w_0-1}-\frac{3}{10}{w}_1-w_0$$

然后求导数，并令为$0$可求得$w_0$和$w_1$的值。最终：
$$P(y_1)=P(y_2)=\frac{3}{20}$$

$$P(y_3)=P(y_4)=P(y_5)=\frac{7}{30}$$

2.5 极大似然估计

对偶函数的极大化等价于最大熵模型的极大似然估计。

---

3. 模型学习的最优化方法

逻辑斯谛回归模型、最大熵模型学习归结为以似然函数为目标函数的最优化问题，通常通过迭代算法求解。这时的目标函数是光滑的凸函数，常用的方法有改进的迭代尺度法、梯度下降法、牛顿法和拟牛顿法等。

3.1 改进的迭代尺度法

已知最大熵模型为：
$$P_w(y|x)=\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$

其中：$$Z_w(x)=\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$

对数似然函数为（这里省去了推导）：$$\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)$$

目标是通过极大似然估计学习模型参数，即求对数似然函数的极大值$\hat{w}$。而改进的迭代尺度法的思想是：假设最大熵模型当前的参数向量是$w=(w_1,w_2,...,w_n{)}^{\mathrm{T}}$，我们希望找到一个新的参数向量$w+\delta =(w_1+\delta ,w_2+\delta ,...,w_n+\delta {)}^{\mathrm{T}}$，使得模型的对数似然函数增大。如果能有这样一种参数向量更新的方法$\tau$：$w\to w+\delta$，那么就可以重复使用这一方法，直到找到对数似然函数的最大值。对于给定的经验分布$\tilde{P}(x,y)$，模型参数从$w$到$w+\delta$，对数似然函数的该变量是：
$$\begin{array}{rl}L(w+\delta )-L(w)& =\sum _{x,y}\tilde{P}(x,y)\log P_{w+\delta }(y|x)-\sum _{x,y}\tilde{P}(x,y)P_w(y|x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log \frac{Z_{w+\delta }(x)}{Z_w(x)}\end{array}$$

利用不等式：$$-\log \alpha \ge 1-\alpha ,\alpha >0$$

建立对数似然函数该变量的下界：
$$\begin{array}{rl}L(w+\delta )-L(w)& \ge \sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\frac{Z_{w+\delta }(x)}{Z_w(x)}\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp \sum _{i=1}^n{\delta }_i{f}_i(x,y)\end{array}$$

将上式右端记为$A(\delta |w)$，即：
$$L(w+\delta )-L(w)\ge A(\delta |w)$$

即$A(\delta |w)$是对数似然函数该变量的一个下界。如果能够找到合适的$\delta$使下界提高，那么对数似然函数也会提高。然而，函数$A(\delta |w)$中的$\delta$使一个向量，含有多个变量，不易同时优化。改进的迭代尺度法试图以此只优化其中一个变量${\delta }_i$，而固定其他变量。为达到这一目的，改进的迭代尺度法进一步降低下界。具体地，引入一个量$f^{\#}(x,y)$：$$f^{\#}(x,y)=\sum _i{f}_i(x,y)$$

因为$f_i$是二值函数，故$f^{\#}(x,y)$表示所有特征在$(x,y)$出现的次数。这样，$A(\delta |w)$可以改写为：$$A(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp \left(f^{\#}(x,y)\sum _{i=1}^n\frac{{\delta }_i{f}_i(x,y)}{f^{\#}(x,y)}\right)\text{\hspace{1em}(12)}$$

根据定义，$f_i(x,y)$表示第$i$个特征在$(x,y)$出现的次数；$f^{\#}(x,y)$表示所有特征在$(x,y)$出现的次数。所以有：
$$\frac{f_i(x,y)}{f^{\#}(x,y)}\ge 0,\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}=1$$

根据$\mathrm{J}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{e}\mathrm{n}$不等式：
$$f\left({\lambda }_i\sum _{i=1}^{n}f(x_i)\le \sum _{i=1}^n{\lambda }_{i}f(x_i)\right)$$

所以有：
$$\exp \left(\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}{\delta }_i{f}^{\#}(x,y)\right)\le \sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}\exp \left({\delta }_i{f}^{\#}(x,y)\right)$$

由此，式（11）可以改写为：
$$A(\delta |w)\ge \sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}\exp \left({\delta }_i{f}^{\#}(x,y)\right)$$

记等式右端为$B(\delta |w)$，于是得到：$$L(w+\delta )-L(w)\ge B(\delta |w)$$

这里的$B(\delta |w)$式对数似然函数该变量的一个新的下界。求$B(\delta |w)$对${\delta }_i$的偏导数：$$\frac{\partial B(\delta |w)}{\partial {\delta }_i}=\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)f_i(x,y)\exp \left({\delta }_i{f}^{\#}(x,y)\right)$$

令偏导数等于$0$，有：
$$\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)\exp \left({\delta }_i{f}^{\#}(x,y)\right)=E_{\tilde{P}}(f_i)$$

于是，依次对${\delta }_i$求解方程即可求出$\delta$。

改进的迭代尺度算法

输入 特征函数$f_1,f_2,...,f_n$；经验分布$\tilde{P}(X,Y)$，模型$P_w(y|x)$；

输出 最优参数值$w_i^{\ast }$；最优模型$P_w^{\ast }$。

（1）对所有 i ∈ { 1 , 2 , . . . , n } i\in\{1,2,...,n\} i∈{1,2,...,n}，取初值$w_i=0$；

（2）对每一 i ∈ { 1 , 2 , . . . , n } i\in\{1,2,...,n\} i∈{1,2,...,n}令${\delta }_i$是方程$$\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)\exp \left({\delta }_i{f}^{\#}(x,y)\right)=E_{\tilde{P}}(f_i)$$

的解，这里有：$$f^{\#}(x,y)=\sum _{i=1}^n{f}_i(x,y)$$

更新$w_i$值：$w_i\leftarrow w_i+{\delta }_i$；

（3）如果不是所有的$w_i$都收敛，重复上述步骤。

3.2 拟牛顿法

对于最大熵模型而言：$$P_w(y|x)=\frac{\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)}{\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)}$$

目标函数：
$$\underset{w\in {\mathbf{R}}^n}{\min }f(w)=\sum _x\tilde{P}(x)\log \sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)-\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)$$

梯度：
$$g(w)={\left(\frac{\partial f(w)}{\partial w_1},\frac{\partial f(w)}{\partial w_2},...,\frac{\partial f(w)}{\partial w_n}\right)}^{\mathrm{T}}$$

其中：
$$\frac{\partial f(w)}{\partial w_i}=\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)-E_{\tilde{P}}(f_i),i=1,2,...,n$$

最大熵模型学习的拟牛顿法

输入 特征函数$f_1,f_2,...,f_n$；经验分布$\tilde{P}(X,Y)$，目标函数$f(w)$，梯度$g(w)=\nabla f(w)$，精度要求$\epsilon$；

输出 最优参数值$w_i^{\ast }$；最优模型$P_w^{\ast }$。

（1）选定初始点$w^{(0)}$，取$B_0$为正定对称矩阵，置$k=0$；

（2）计算$g_k=g(w^{(k)})$。若$||g_k||<\epsilon$，则停止计算，得$w^{\ast }=w^{(k)}$；否则转（3）；

（3）由$B_k{p}_k=-g_k$，求出$p_k$；

（4）一维搜索：求${\lambda }_k$使得：$$f(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(w^{(k)}+\lambda p_k)$$

（5）置$w^{(k+1)}=w^{(k)}+{\lambda }_k{p}_k$；

（6）计算$g_{k+1}=g(w^{(k+1)})$，若$||g_{k+1}||<\epsilon$，则停止计算，得$w^{\ast }=w^{(k+1)}$；否则按下式求出$B_{k+1}$：$$B_{k+1}=B_k+\frac{y_k{y}_k^{\mathrm{T}}}{y_k^{\mathrm{T}}{\delta }_k}-\frac{B_k{\delta }_k{\delta }_k^{\mathrm{T}}{B}_k}{{\delta }_k^{\mathrm{T}}{B}_k{\delta }_k}$$

其中：
$$y_k=g_{k+1}-g_k,{\delta }_k=w^{(k+1)}-w^k$$

（7）置$k=k+1$，转（3）。

---

4. Python实现逻辑斯谛回归

首先加载数据集：

# https://github.com/Dod-o/Statistical-Learning-Method_Code/blob/master/Logistic_and_maximum_entropy_models/logisticRegression.py#L36
def load_data(file):
    # 定义空列表
    dataArr = []
    labelArr = []
    # 打开并处理文件
    with open(file, "r") as f:
        lines = f.readlines()
        for line in lines:
            # 针对csv文件格式，使用','分割数据
            curLine = line.strip().split(',')
            # 逻辑斯谛回归模型是一个二分类算法，定义0-4为0、5-9为+1
            # csv文件第一列存放着具体类别
            if int(curLine[0]) < 5:
                labelArr.append(0)
            else:
                labelArr.append(1)
            # 处理具体数据，除以255归一化
            dataArr.append([int(num) / 255 for num in curLine[1:]])
        # 返回
        return dataArr, labelArr

根据训练得到的$w$作预测：

def predict(_w, _x):
    # 点积
    wx = np.dot(_w, _x)
    # 根据式(5)和式(6)
    p = np.exp(wx) / (1 + np.exp(wx))
    # 如果p大于0.5，则类别为1；否则为0
    if p > 0.5:
        return 1
    else:
        return 0

定义逻辑斯谛回归主体函数。这里，根据式（9）：$$L(w)=\sum _{i=1}^N\left[y_i(w\cdot x_i)-\log (1+\exp (w\cdot x_i))\right]$$

使用随机梯度下降法求上述函数的最值，首先计算$L(w)$相对于$w$的梯度：
$$\frac{dL(w)}{dw}=\sum _{i=1}^N\left[y_i\cdot x_i-\frac{\exp (w\cdot x_i)\cdot x_i}{1+\exp (w\cdot x_i)}\right]$$

由于是求似然函数的极大值，这里使用梯度上升：

# https://github.com/Dod-o/Statistical-Learning-Method_Code/blob/master/Logistic_and_maximum_entropy_models/logisticRegression.py#L97
def logistic_regression(train_data, train_label, it=200):
    # 将x增加一维
    for i in range(len(train_data)):
        train_data[i].append(1)
    # 转换数据集形式
    train_data = np.array(train_data)
    # 初始化w和b，w得维数保持和x一致，且最后一位为b
    w = np.zeros(train_data.shape[1])
    # 设置步长
    h = 0.01
    for i in range(it):
        for j in range(train_data.shape[0]):
            # 获取对应索引的数据
            wx = np.dot(w, train_data[j])
            xi = train_data[j]
            yi = train_label[j]
            # 梯度上升
            w += h * (xi * yi - (np.exp(wx) * xi) / (1 + np.exp(wx)))
        print("{} / {}".format(i, it))
    # 返回学习到的w
    return w

测试集上的表现：

def model_test(test_data, test_label, w):
    # 将x增加一维
    for i in range(len(test_data)):
        test_data[i].append(1)
    # 错误计数
    errorCnt = 0
    for i in range(len(test_data)):
        if test_label[i] != predict(w, test_data[i]):
            errorCnt += 1
    # 返回准确率
    return 1 - errorCnt / len(test_data)

---

5. 逻辑斯谛回归与最大熵模型总结

逻辑斯谛回归模型源自逻辑斯谛分布，其分布函数$F(x)$是$S$形函数。逻辑斯谛回归模型是由输入的线性函数表示的输出的对数几率模型。最大熵模型可以由最大熵原理推导得出。最大熵原理是概率模型学习或估计的一个准则。逻辑斯谛回归模型和最大熵都属于对数线性模型。逻辑斯谛回归模型和最大熵模型学习一般采用极大似然估计，或正则化的极大似然估计。逻辑斯谛回归模型及最大熵模型学习可以形式化为无约束最优化问题，求解该最优化问题的算改进的迭代尺度法、梯度下降法和拟牛顿法等。

---

参考

1. 统计学习方法/李航著。—2版。—北京：清华大学出版社，2019（2019.6重印）.
2. https://github.com/Dod-o/Statistical-Learning-Method_Code（逻辑斯谛回归代码）.

---

完

---