第6章 逻辑斯谛回归与最大熵模型

6.1 逻辑斯谛回归模型

6.1.1 逻辑斯谛分布

分布函数：
$$F(x)=P(X\le x)=\frac{1}{1+e^{-}(x-\mu )/\gamma }$$
密度函数：
$$f(x)=F^{\prime }(x)=\frac{e^{-(x-\mu )/\gamma }}{1+e^{-(x-\mu )/\gamma }}$$
其中，$\mu$为位置参数，$\gamma >0$为形状参数。

6.1.2 二项逻辑斯谛回归模型

二项逻辑斯谛回归模型（binomial logistic regression model）是一种分类模型
定义6.2（逻辑斯谛回归模型） 二项逻辑斯谛回归模型是以下条件分布：
$$P(Y=1|X)=\frac{e^{-w.x+b}}{1+e^{-w.x+b}}$$
$$P(Y=0|X)=\frac{1}{1+e^{-w.x+b}}$$
其中，$x\in R^n$是输入， Y ∈ { 0 , 1 } Y\in \{0,1\} Y∈{0,1}是输出，$w\in R^n$和$b\in R$是参数，$w$是权值向量，$b$称为偏置，$w.x$为$w$和$x$的内积。

6.1.3 模型参数估计

设：$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$
似然函数为：
$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$
对数似然函数：
$$L(w)=\sum _{i=1}^N[y_{i}log\pi (x_i)+(1-y_i)log(1-\pi (x_i))]$$
$$=\sum _{i=1}^N[y_{i}log\frac{\pi (x_i)}{1-\pi (x_i)}+log(1-\pi (x_i))]$$
$$=\sum [y_i(w.x_i)-log(1+e^{w.x_i})]$$
对$L(w)$求极大值，得到$w$的估计

6.1.4 多项逻辑斯谛回归

$$P(Y=k|X)=\frac{e^{-w.x+b}}{1+\sum _{i=1}^{K-1}{e}^{-w.x+b}}$$
$$P(Y=K|X)=\frac{1}{1+\sum _{i=1}^{K-1}{e}^{-w.x+b}}$$
这里，$x\in R^{n+1},w_k\in R^{n+1}$

6.2 最大熵模型

6.2.1 最大熵原理

假设离散随机变量$X$的概率分布是$P(X)$，则其熵为
$$H(P)=-\sum _{x}P(x)logP(x)$$
熵满足以下不等式：
$$0\le H(P)\le log|X|$$
其中，$|X|$是$X$的取值个数，当且仅当$X$的分布是均匀分布时右边的等号成立,即X服从均匀分布时，熵最大。
最大熵的原理认为要选择的概率模型首先必须满足已有的事实，即约束条件，在没有更多信息的情况下，那些不确定的部分都是“等可能的”。

6.2.2 最大熵模型的定义

假设分类模型是条件概率分布$P(y|x),X\in \mathcal{X}\in R$表示输入，$Y\in \mathcal{Y}$表示输出，$\mathcal{X}$和$\mathcal{Y}$分别是输入和输出的集合。这个模型表示的是：对给定的输入$X$，以条件概率$P(Y|X)$输出$Y$。

对于训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}
联合分布$P(X,Y)$和边缘分布$P(X)$的经验分布为$\tilde{P}(X,Y)$和$\tilde{P}(X)$表示，有
$$\tilde{P}(X=x,Y=y)=\frac{v(X=x,Y=y)}{N}$$
$$\tilde{P}(X=x)=\frac{v(X=x)}{N}$$
其中，$v(X=x,Y=y)$表示训练样本数据中样本$(x,y)$出现的频数，$v(X=x)$表示训练数据中输入$x$出现的频数，$N$表示样本容量。

用特征函数（feature function）$f(x,y)$描述输入$x$和输出$y$之间的某一个事实，其定义为：
$$f(x,y)=\{\begin{array}{ll}1,& \text{x与y满足某一事实}\\ 0,& \text{否}则\end{array}$$

特征函数$f(x,y)$关于经验分布$\tilde{P}(X,Y)$的期望值，用$E_{\tilde{p}}(f)$表示
$$E_{\tilde{p}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$
特征函数$f(x,y)$关于模型$P(X,Y)$的期望值，用$E_P(f)$表示
$$E_p(f)=\sum _{x,y}\tilde{P}(x)p(x,y)f(x,y)$$
若能获取训练数据中的信息，假设这两个期望值相等
$$E_p(f)=E_{\tilde{p}}(f)$$
或
$$\sum _{x,y}\tilde{P}(x)p(x,y)f(x,y)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$
定义6.3（最大熵模型） 假设满足所有约束条件的模型集合为
C ≡ { P ∈ P ∣ E p ( f i ) = E p ~ ( f i ) , i = 1 , 2 , . . . , n } \mathcal{C}\equiv\{P\in \mathcal{P}|E_p(f_i)=E_{\widetilde{p}}(f_i),i=1,2,...,n\} C≡{P∈P∣Ep​(fi​)=Ep ​​(fi​),i=1,2,...,n}
定义在条件概率分布$P(Y|X)$上的条件熵为：
$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$
则模型集合$\mathcal{C}$中条件熵$H(P)$成为最大熵模型

6.2.3 最大熵模型的估计

最大熵模型的学习等价于约束最优化问题：
$$\underset{P\in C}{\max }H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$
$$s.t.E_p(f_i)=E_{\tilde{P}}(f_i),i=1,2,...,n$$
$$\sum _{y}P(y|x)=1$$
利用其对偶问题，结合拉格朗日乘子，求得
$$P(y|x)=\frac{e^{\sum _{i=1}^n{w}_i{f}_i(x,y)}}{e^{1-w_0}}$$
由$$\sum _{x}P(y|x)=1$$
得，
$$P_w(y|x)=\frac{1}{Z_w(x)}{e}^{\sum _{i=1}^n{w}_i{f}_i(x,y)}$$
其中，
$$Z_w(x)=\sum _y{e}^{\sum _{i=1}^n{w}_i{f}_i(x,y)}$$
$Z_w(x)$称为规范化因子，$f_i(x,y)$是特征函数；$w_i$是特征的权值，以上两式表示的模型为$P_w=P_w(x,y)$就是最大熵模型，这里的$w$是最大熵模型的参数向量。
之后，求解对偶问题外部的极大化问题
$$\underset{w}{\max }\Psi (w)$$
将其解记为$w^{\ast }$，即
$$w^{\ast }=arg\underset{w}{\max }\Psi (w)$$
这里可运用最优化算法求对偶问题$\Psi (w)$的极大化，得到$w^{\ast }$,用来表示$P\in \mathcal{C}$,这里$P^{\ast }=P_{w^{\ast }}=P_{w^{\ast }}(y|x)$是学习到的最优模型（最大熵模型）。

6.2.4 极大似然估计

最大熵模型和逻辑斯谛回归模型有类似的行式，又称为对数线性模型（log linear model），模型学习就是在给定的训练数据条件下对模型进行极大似然估计或正则化。

6.3 模型学习的最优化算法

6.3.1 改进的迭代尺度法

改进的迭代尺度法（Improved iterative scaling,IIS）是一种最大熵模型学习的最优化算法。
已知最大熵模型为

$$P_w(y|x)=\frac{1}{Z_w(x)}{e}^{\sum _{i=1}^n{w}_i{f}_i(x,y)}$$

其中，
$$Z_w(x)=\sum _y{e}^{\sum _{i=1}^n{w}_i{f}_i(x,y)}$$
对数似然函数为
$$L(w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)log{Z}_w(x)$$
IIS的想法是：假设最大熵模型当前的参数向量是$w=(w_1,w_2,...,w_n{)}^T$，我们希望找到一个新的参数向量$w+\delta =(w_1+{\delta }_1,w_2+{\delta }_2,...,w_n+{\delta }_n{)}^T$，使得模型的对数似然函数值增大，若有参数向量更新方法$\tau :w⟶w+\delta$,重复使用这一方法，直至找到对数似然函数的最大值。
对于给定的经验分布$\tilde{P}(x,y)$，模型参数从$w$到$w+\delta$，对数似然函数的改变是
$$L(w+\delta )-L(w)=\sum _{x,y}\tilde{P}(x,y)log{P}_{w+\delta }(y|x)-\sum _{x,y}\tilde{P}(x,y)log{P}_w(y|x)$$
利用不等式
$$-log\alpha \ge 1-\alpha ,\alpha >0$$
对数似然函数的下界
$$A(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)e^{\sum _{i=1}^n{\delta }_i{f}_i(x,y)}$$
于是，
$$L(w+\delta )-L(w)\ge A(\delta +w)$$
IIS每次只优化一个变量${\delta }_i$，而固定其他变量${\delta }_i,i̸=j$
为达到这一目的，进一步降低IIS的下界$A(\delta |w)$，具体地，引入一个变量$f^{\#}(x,y)$
$$f^{\#}(x,y)=\sum _i{f}_i(x,y)$$
$f_i$是二值函数，故$f^{\#}(x,y)$表示所有特征在$(x,y)$出现的次数。这样，$A(\delta |w)$可以改写成
$$A(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)e^{f^{\#}(x,y)\sum _{i=1}^n\frac{{\delta }_i{f}_i(x,y)}{f^{\#}(x,y)}}$$
利用指数函数的凸性以及对于任意$i$，有$\frac{f_i(x,y)}{f^{\#}(x,y)}\ge 0$且$\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}=1$这一事实，根据$Jensen$不等式，得到
$$e^{\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}{\delta }_i{f}^{\#}(x,y)}\le \sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}{e}^{{\delta }_i{f}^{\#}(x,y)}$$
于是，
$$A(\delta |w)\ge \sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}{e}^{{\delta }_i{f}^{\#}(x,y)}$$
上述不等式右边记为
$$B(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}{e}^{{\delta }_i{f}^{\#}(x,y)}$$
于是
$$L(w+\delta )-L(w)\ge B(\delta |w)$$
这里，$B(\delta |w)$是对数似然函数改变量的一个新的下界
求$B(\delta |w)$对${\delta }_i$的偏导数：
$$\frac{\partial B(\delta |w)}{\partial {\delta }_i}=\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)f_i(x,y)e^{{\delta }_i{f}^{\#}(x,y)}$$
令偏导数为0，则
$$\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)e^{{\delta }_i{f}^{\#}(x,y)}=E_{\tilde{P}}(f_i)$$
依次对${\delta }_i$求解方程可以求出$\delta$
算法6.1 （改进的迭代尺度算法IIS）
输入：特征函数$f_1,f_2,...,f_n$;经验分布$\tilde{P}(x,y)$，模型 $P_w(y|x)$
输出：最优参数值$w_i^{\ast }$；最优模型$P_{w^{\ast }}$
（1）对所有的 i ∈ { 1 , 2 , . . . , n } i\in \{1,2,...,n\} i∈{1,2,...,n}，取初值$w_i=0$
（2）对每一 i ∈ { 1 , 2 , . . . , n } i\in \{1,2,...,n\} i∈{1,2,...,n}：
（a）令${\delta }_i$是方程
$$\sum _{x,y}\tilde{P}(x)P(y|x)f_i(x,y)e^{{\delta }_i{f}^{\#}(x,y)}=E_{\tilde{p}(f_i)}$$
的解，这里
$$f^{\#}(x,y)=\sum _{i=1}^n{f}_i(x,y)$$
（b）更新$w_i$的值：$w_i\leftarrow w_i+{\delta }_i$
（3）如果不是所有的$w_i$都收敛，重复步（2）
若$f^{\#}(x,y)$是常数，即对于任何的$x,y$，都有$f^{\#}(x,y)=M$，则${\delta }_i$可以显示地表示为
$${\delta }_i=\frac{1}{M}log\frac{E_{\tilde{p}(f_i)}}{E_p(f_i)}$$
若$f^{\#}(x,y)$不是常数，那么必须通过数值计算求${\delta }_i$，需通过牛顿法，以$g({\delta }_i)=0$表示方程$\sum _{x,y}\tilde{P}(x)P(y|x)f_i(x,y)e^{{\delta }_i{f}^{\#}(x,y)}=E_{\tilde{p}(f_i)}$，牛顿法通过迭代求${\delta }_i^{\ast }$，使得$g({\delta }_i^{\ast })=0$，迭代公式为
$${\delta }_i^{(k+1)}={\delta }_i^{(k)}-\frac{g({\delta }_i^{(k)})}{g^{\prime }({\delta }_i^{(k)})}$$
选择适当的初始值${\delta }_i^{(0)}$即可

6.3.2 拟牛顿法

对于最大熵模型
$$P_w(y|x)=\frac{e^{\sum _{i=1}^n{w}_i{f}_i(x,y)}}{\sum _y{e}^{w_i{f}_i(x,y)}}$$
目标函数：
$$\underset{w\in R^n}{\min }f(w)=\sum _x\tilde{P}(x)log\sum _y{e}^{\sum _{i=1}^n{w}_i{f}_i(x,y)}-\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)$$

梯度：
$$g(w)=(\frac{\partial f(w)}{\partial w_1},\frac{\partial f(w)}{\partial w_2},...,\frac{\partial f(w)}{\partial w_n}{)}^T$$
其中，
$$\frac{\partial f(w)}{\partial w_i}=\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)-E_{\tilde{P}(f_i)},i=1,2,...,n$$
相应的拟牛顿法BFGS算法如下

算法6.2 （最大熵学习的BFGS算法）
输入：特征函数$f_1,f_2,...,f_n$;经验分布$\tilde{P}(x,y)$，目标函数$f(w)$,梯度$g(w)=▽f(w)$，精度要求$\epsilon$;
输出：最优参数值$w_i^{\ast }$；最优模型$P_{w^{\ast }}(y|x)$
（1）选定初始点$w^{(0)}$,取$B_0为正定对称矩阵，置 $k=0$
（2）计算$g_k=g(w^{(k)})$.若$||g_k||<\epsilon$，则停止计算，得$w^{\ast }=w^{(k)}$ ;否则转（3）
（3）$B_k{p}_k=-g_k$求出$p_k$
（4）一维搜索：求${\lambda }_k$使得
$$f(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(w^{(k)}+\lambda p_k)$$
（5）置$w^{(k+1)}=w^{(k)}+{\lambda }_k{p}_k$
（6）计算$g_{k+1}=g(w^{(k+1)})$，若$||g_{k+1}||<\epsilon$，则停止计算，得$w^{\ast }=w^{(k+1)}$；否则按下式计算$B_{k+1}$
$$B_{k+1}=B_k+\frac{y_k{y}_k^T}{y_k^T{\delta }_k}-\frac{B_k{\delta }_k{\delta }_k^T{B}_k}{{\delta }_k^T{B}_k{\delta }_k}$$
其中，
$$y_k=g_{k+1}-g_k,{\delta }_k=w^{(k+1)}-w^{(k)}$$
（7）置$k=k+1$,转（3）