统计学习方法读书笔记（六）-逻辑斯蒂回归与最大熵模型（迭代尺度法（IIS））

全部笔记的汇总贴：统计学习方法读书笔记汇总贴

逻辑斯谛回归 (logistic regression ）是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximum entropy model) 。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。

一、逻辑斯谛回归模型

设$X$是连续随机变量，$X$服从逻辑斯谛分布是指$X$具有下列分布函数和密度函数：$$\begin{gathered} F(x)=P(X\le x)=\frac{1}{1+e^{-\frac{(x-\mu )}{\gamma }}} \\ f(x)=F^{\prime }(x)=\frac{e^{-\frac{(x-\mu )}{\gamma }}}{\gamma (1+e^{-\frac{(x-\mu )}{\gamma }}{)}^2} \end{gathered}$$其中，$\mu$为位置参数，$\gamma >0$为形状参数。

分布函数$F(x)$属于逻辑斯蒂函数，图形是一条$S$形曲线，该曲线以$(\mu ,\frac{1}{2})$为中心对称，即满足$$F(-x+\mu )-\frac{1}{2}=-F(x+\mu )+\frac{1}{2}$$曲线在中心附近增长速度较快，在两端增长速度较慢。形状参数$\gamma$的值越小，曲线在中心附近增长得越快。

二项逻辑斯谛回归模型（binomial logistic regression model）是一种分类模型，由条件概率分布$P(Y|X)$ 表示，形式为参数化的逻辑斯蒂分布。条件概率分布为：$$\begin{gathered} P(Y=1|x)=\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)} \\ P(Y=0|x)=\frac{1}{1+\exp (w\cdot x)} \end{gathered}$$

一个事件的几率（odds）是指该事件发生的概率与该事件不发生的概率的比值。一个事件的几率（odds）是指该事件发生的概率与该事件不发生的概率的比值。逻辑斯蒂回归的对数几率为$$\log \frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot x$$这就是说，在逻辑斯谛回归模型中，输出$Y=1$的对数几率是输入$x$的线性函数。或者说，输出$Y=1$的对数几率是由输入$x$的线性函数表示的模型，即逻辑斯谛回归模型。

多项逻辑斯蒂回归模型$$\begin{gathered} P(Y=k|x)=\frac{\exp (w_k\cdot x)}{1+{\sum }_{k=1}^{K-1}\exp (w_k\cdot x)} \\ P(Y=K|x)=\frac{1}{1+{\sum }_{k=1}^{K-1}\exp (w_k\cdot x)} \end{gathered}$$

二、最大熵模型

最大熵模型（maximum entropy model) 由最大熵原理推导实现，最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。
$$\begin{gathered} H(P)=-\sum _{x}P(x)\log P(x) \\ 0\le H(P)\le \log |X| \end{gathered}$$其中，$|X|$是$X$的取值个数，当且仅当$X$是均匀分布时右边等号成立，也就是说，当$X$服从均匀分布时，熵最大。

直观的可以把它看作等可能事件，具体的解析解求法可以用有约束的拉格朗日法。

三、模型学习的最优化算法

常用的方法有改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法。牛顿法或拟牛顿法一般收敛速度更快，但约束过多。

这里讲解一个书上提到的迭代尺度法（IIS）。可以看看这篇文献，讲的很详细：The Improved Iterative Scaling Algorithm
已知最大熵模型为：$$P_w(y|x)=\frac{1}{Z_w(x)}\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))(1)$$
其中，$$Z_w(x)=\sum _y\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))（规范化因子）(2)$$
对数似然函数为$$L_{\hat{p}}(w)=\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\hat{P}(x)\log Z_w(x)(3)$$
给定联合经验分布函数$\hat{p}(x,y)$，根据条件模型$p_w(y|x)$，其对数似然函数为$$L_{\hat{p}}(w)=\sum _{x,y}\hat{p}(x,y)\log p_w(y|x)(4)$$
由(1)、(2)式可得$$L_{\hat{p}}(w)=\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{w}_i$$