logistic回归模型与最大熵模型

logistic模型

logistic分布

设$X$是连续随机变量，$X$服从logistic分布是指$X$具有下列分布函数和密度函数:$$F(x)=P(X\le x)=\frac{1}{1+e^{-\frac{x-\mu }{\gamma }}}$$$$f(x)=F^{\prime }(x)=\frac{e^{-\frac{x-\mu }{\gamma }}}{\gamma (1+e^{-\frac{x-\mu }{\gamma }}{)}^2}$$式子中$\mu$为位置参数，$\gamma \ge 0$为形状参数。图形如下：

形状参数$\gamma$的值越小，曲线在中心附近增长的越快，即越陡峭。

二项logistic回归模型

二项logistic模型是一种分类模型，有条件概率分布$P(Y|X)$表示，形式为参数化的logistic分布。这里，随机变量$X$取值为实数，随机变量$Y$取值1或0。我们通过监督学习的方法来估计模型参数。
二项logistic回归模型是如下的条件概率分布:$$P(Y=1|x)=\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)}$$$$P(Y=0|x)=\frac{1}{1+exp(w\cdot x+b)}$$几率的定义：是指事件发生概率与该事件不发生的概率的比值。即$$\frac{p}{1-p}$$对logistic回归而言$$\frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot x$$这里将偏置项$b$去掉，从这个角度来看logistic模型其实就是或者说，输出Y＝1的对数几率是由输入x的线性函数表示的模型。

参数估计

设$$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$$其中$\pi (x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)}$其似然函数为$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$对数似然函数为:$$L(w)=\sum _{i=1}^N[y_i]log\pi (x_i)+(1-y_i)log(1-\pi (x_i))$$化简得:$$L(w)=\sum _{i=1}^N[y_i(w\cdot x_i)-log(1+exp(w\cdot x_i))]$$对$L(w)$求极大值，得到$w$的估计值。

多项式的logistic回归

假设离散型随机变量$Y$的取值集合是 { 1 , 2 , . . . , K } \lbrace 1,2,...,K\rbrace {1,2,...,K},那么多项式logistic回归模型是$$P(Y=k|x)=\frac{exp(w_k\cdot x)}{1+{\sum }_{k=1}^{K-1}exp(w_k\cdot x)}，k=1,2,...,K-1$$$$P(Y=K|x)=\frac{1}{1+{\sum }_{k=1}^{K-1}exp(w_k\cdot x)}$$这样就将其推广到了多项式的情况。

最大熵模型

最大熵模型由最大熵原理推导实现。

最大熵原理

最大熵原理认为，学习概率时，在所有可能的概率模型中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。在满足约束的条件(保证精度)下有很多模型，原则上来说这些模型都是可取的，但是从泛化角度来说这些模型中熵值最大的那个也就是说最不确定的那个是最好的模型，因为这样能够尽可能的包含未知数据的信息。

最大熵模型定义

最大熵原理是统计学习的一般原理，将它应用到分类得到最大熵模型。
给定一个训练数据集 T = { ( x i , y i ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\lbrace (x_i,y_i),(x_2,y_2),...,(x_N,y_N) \rbrace T={(xi​,yi​),(x2​,y2​),...,(xN​,yN​)}学习的目标是用最大熵原理选择最好的分类模型。
给定一个训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\lbrace (x_1,y_1),(x_2,y_2),...,(x_N,y_N) \rbrace T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}学习的目标是用最大熵原理选择最好的分类模型。
首先考虑模型应该满足的条件。给定训练数据集，可以确定联合分布$P(X,Y)$的经验分布和边缘分布$P(X)$的经验分布，分别以$\tilde{P}(X,Y)$和$\tilde{P}(X)$表示。特征如果离散数据的话有$$\tilde{P}(X=x,Y=y)=\frac{\nu (X=x,Y=y)}{N}$$$$\tilde{P}(X=x)=\frac{\nu (X=x)}{N}$$其中$\nu (X=x,Y=y)$表示训练数据集中样本$(X,Y)$出现的频次，$\nu (X=x)$表示训练数据中输入$x$出现的频次，$N$表示训练样本容量。
用特征函数$f(X,Y)$描述输入$x$和输出$y$之间的某一个事实。其定义是$$f(x,y)=\{\begin{array}{ll}1,& \text{x与y满足某一事实}\\ 0,& \text{否则}\end{array}$$它是一个二值函数，当$x$和$y$满足这个事实时取值为1，否则取值为0。特征函数$f(X,Y)$关于经验分布$\tilde{P}(X,Y)$的期望值，用$E_{\tilde{P}}(f)$表示。$$E_{\tilde{P}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$特征函数$f(X,Y)$关于模型$P(Y|X)$与经验分布$\tilde{P}(X)$的期望值，用$E_P(f)$表示$$E_P(f)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$如果模型能够获取训练数据中的信息，那么就可以假设这两个期望值相等，即$$E_P(f)=E_{\tilde{P}}(f)$$我们将上式作为最大熵模型的约束条件。定义在条件概率分布$P(Y|X)$上的条件熵为$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$

最大熵模型的学习

最大熵模型的学习等价与约束优化问题:$$\underset{P\in C}{\min }-H(P)=\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$$$s.t.E_P(f)-E_{\tilde{P}}(f)=0,i=1,2,...,n$$$$1-\sum _{y}P(y|x)=0$$上式中可以通过构造拉格朗日函数$L(P,w)$求解，由于拉格朗日函数是一个凸函数因此其对偶问题与原问题是同解的，最优化问题为$$\underset{P\in C}{\min }\underset{w}{\max }L(P,w)$$其对偶问题为:$$\underset{w}{\max }\underset{P\in C}{\min }L(P,w)$$通过解对偶问题的内层可以求得$P_w(y|x)$如下$$P_w(y|x)=\frac{1}{Z_w(x)}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))$$其中$$Z_w(x)=\sum _{y}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))$$上式为最大熵模型更一般的形式。上式得到了$P_w(x,y)$与$w$的关系然后带入到拉格朗日函数中在极大化最后求得$w$。

模型学习的最优化算法

logistic回归模型与最大熵模型学习归纳为以似然函数为目标函数的最优化问题，通常通过迭代算法求解。它是光滑的凸函数，因此多种最优化的方法都适用，保证能找到全局最优解。常用的方法有改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法。牛顿法与拟牛顿法一般收敛速度更快。

改进的迭代尺度法

算法如下:
输入：特征函数$f_1.f_2,...,f_n$；经验分布$\hat{P}(X,Y)$,模型$P_w(Y|X)$
输出：最优参数值$w_i^{\ast }$；最优模型$P_w^{\ast }$

1. 对所有 i ∈ { 1 , 2 , . . . , n } i \in \lbrace 1,2,...,n \rbrace i∈{1,2,...,n},取初值$w_i=0$
2. 对每一个 i ∈ { 1 , 2 , . . . , n } i \in \lbrace 1,2,...,n \rbrace i∈{1,2,...,n}：
   (1).令${\delta }_i$是方程$$\sum _{x,y}\tilde{P}(x)P(y|x)f_i(x,y)exp({\delta }_i{f}^{\#}(x,y))=E_{\tilde{P}}(f_i)$$的解，其中$$f^{\#}(x,y)=\sum _{i=1}^n{f}_i(x,y)$$
   (2).更新$w_i$值：$w_i\leftarrow w_i+{\delta }_i$
3. 如果不是所有$w_i$都收敛，重复2。

拟牛顿法

已知对于最大熵模型$$P_w(y|x)=\frac{exp({\sum }_{i=1}^n{w}_i{f}_i(x,y))}{{\sum }_{y}exp({\sum }_{i=1}^n{w}_i{f}_i(x,y))}$$其目标函数：$$\underset{w\in R^n}{\min }f(w)=\sum _x\tilde{P}(x)log\sum _{y}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))-\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)$$梯度为$$g(w)=(\frac{\partial f(w)}{\partial w_1},\frac{\partial f(w)}{\partial w_2},...,\frac{\partial f(w)}{\partial w_n}{)}^T$$其中$$\frac{\partial f(w)}{\partial w_i}=\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)-E_{\tilde{P}}(f_i),i=1,2,...,n$$算法如下:
输入：特征函数$f_1,f_2,...,f_n$;经验分布$\tilde{P}(X,Y)$,目标函数$f(w)$,梯度$g(w)=\Delta f(w)$,精度要求$ϵ$。
输出：最优参数值$w^{\ast }$；最优模型$P_w^{\ast }(Y|X)$。

1. 选定初始点$w^{(0)}$，取$B_0$为正定对称矩阵，置k=0
2. 计算$g_k=g(w^{(k)})$。若$||g_k||<ϵ$，则停止计算，得$w^{\ast }=w^{(k)}$；否则转3
3. 由$B_k{p}_k=-g_k$求得$p_k$
4. 一维搜索：求${\lambda }_k$使得$$f(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda ⩾0}{\min }f(w^{(k)}+\lambda p_k)$$
5. 置$w^{(k-1)}=w^{(k)}+{\lambda }_k{p}_K$
6. 计算$g_{k-1}=g(w^{(k-1)})$,若$||g_{k-1}||\le ϵ$,则停止计算，得$w^{\ast }=w^{(k-1)}$；否则按下式求出$B_{k-1}$：$$B_{k+1}=B_k+\frac{y_k{y}_k^T}{y_k^T{\delta }_k}-\frac{B_k{\delta }_k{\delta }_k^T{B}_k}{{\delta }_k^T{B}_k{\delta }_k}$$其中，$$y_k=g_{k+1}-g_k,{\delta }_k=w^{(k+1)}-w^{(k)}$$
7. 置$k=k+1$,转3。