逻辑斯谛回归logistic regression-最大熵

1.定义
1.1逻辑斯谛分布
服从逻辑斯谛分布的X具有以下分布函数与密度函数
$F(x)=P(X\le x)=\frac{1}{1+e^{\frac{-(x-\mu )}{\gamma }}}$
$f(x)=F^{\prime }(x)=\frac{e^{\frac{-(x-\mu )}{\gamma }}}{\gamma (1+e^{\frac{-(x-\mu )}{\gamma }}{)}^2}$
分布函数满足($\mu$,$\frac{1}{2}$)为中心对称，密度函数轴对称

1.2 二项逻辑斯蒂回归模型
$P(Y=1|x)=\frac{exp(wx)}{1+exp(wx+b)}$
$P(Y=1|x)=\frac{1}{1+exp(wx)}$
$w为权重向量，b为偏置，w=(w1,w2...b).T,x=(x1,x2...1).T,wx内积$

1.3参数估计，极大似然法
极大似然估计
估计参数$w$
已知$P(Y=1|x)=p1,P(Y=0|x)=1-p1$
即在已知参数未知x时，当前取值yi的概率为$[p1{]}^{y}i[1-p1{]}^{1-yi}$
则取得训练集结果的概率为累乘${\prod }_{i=1}[p1{]}^{y}i[1-p1{]}^{1-yi}$
已知当前结果概率最大，因此此时应取极大值，对数不影响极值且方便计算，因此通过对对数似然函数求导=0取得参数
回到公式：
$L(w)={\sum }_{i=1}(y_{i}w{x}_i-log(1+exp(wx)))$求极大值
问题转换为以L(w)为目标函数的最优化问题，在逻辑斯谛中通常采用梯度下降与拟牛顿法求解

1.4多分类及多项逻辑斯谛回归模型
即Y取值为{1,2,…k}
$P(Y=K|x)=\frac{exp(w_{k}x)}{(1+{\sum }_{k=1}^{K-1}exp(w_{k}x)}$

2.最大熵
$H(P)=-\sum P(x)log(P(x))$

2.1琴生不等式证明等概率分布时熵最大
琴生不等式$对在[a,b]上的凸函数，存在p1,p2,...,pk\in [0,1]且\sum pi=1，存在\sum pif(x_i)\le f(\sum pi{x}_i)$
$-plogp为凸函数，可用琴生不等式$
$\frac{1}{k}H(P)=\sum \frac{1}{k}(-plogp)\le (-(\sum \frac{p}{k})log(\sum \frac{p}{k}))=(-\frac{1}{k}log\frac{1}{k})=\frac{1}{k}logk$
即H§ 在pi相等时最大

2.2最大熵原理与模型
最大熵原理认为，在满足条件的模型中，熵最大的模型最好。
模型：
$已知：{\sum }_{y}P(y|x)=1,E_p(f_i)=E_p^{\prime }(f_i)$
$求maxH(P)=-\sum P^{\prime }(x)P(y|x)logP(y|x)$
即求给定x，y分布中最大熵分布
通常将约束最优化问题转换成无约束最优化的对偶问题
$L(P,w)=-H(P)+w_0(1-{\sum }_{y}P(y|x))+{\sum }_{i}wi(E_p(f_i)-E_p^{\prime }(f_i)$
$P_w(y|x)=\frac{1}{Z_w(x)}exp(\sum w_i{f}_i(x,y))$
$\frac{1}{Z_w(x)}=\frac{1}{\sum w_i{f}_i(x,y)}$
对数似然函数：
$L(w)={\sum }_{x,y}P(x,y)\sum wi{f}_i(x,y)-\sum (P(x)log{Z}_w(x))$

3.模型学习的最优化算法
3.1改进的迭代尺度法
输入：特征函数$f_i$经验分布$P^{\prime }(X,Y)$模型$P_w(y|x)$
输出：最优参数值$w_i^{\ast }$最优模型$P_w^{\ast }$

• 1.对所有i ∈ { 1 , 2 , . . . n } 取 w i = 0 \in\{1,2,...n\}取w_i=0 ∈{1,2,...n}取wi​=0
• 2.对每个i，解方程$\sum P^{\prime }(x)P(y|x)fi(x,y)exp({\sigma }_i{f}^{\#}(x,y))=E_P(f_i)$
• $f^{\#}(x,y)=\sum f_i(x,y)$
• 更新$w_i=w_i+{\sigma }_i$
• 3.重复直到所有w收敛

3.2 拟牛顿法
输入：特征函数$f_i$经验分布$P^{\prime }(X,Y)$目标函数$f(w)$,梯度$g(w)=f^{\prime }(w)$精度要求$e$
输出：最优参数值$w_i^{\ast }$最优模型$P_w^{\ast }$

• 1.选定$w^{(0)}$,取$B_0$为正定对称矩阵，k=0
• 2.计算$g_k=g(w^k)直到小于精度$得到$w^{\ast }=w^k$否则继续
• 3.由$B_k{p}_k=-g_k$求出$p_k$
• 4.一维搜索，求${\lambda }_k$
• $f(w^k+{\lambda }_k{p}_k)=mi{n}_{\lambda \ge 0}f(w^k+\lambda p_k)$
• 5.$w^{k+1}=w^k+{\lambda }_k{p}_k$
• 6.计算$g_{k+1}=g(w^{k+1}),小于阈值停止，否则求B_{k+1}$
• $B_{k+1}=B_k+\frac{y_k{y}_k^T}{y_k^T{\sigma }_k}-\frac{B_k{\sigma }_k{\sigma }_k^T{B}_k}{{\sigma }_k^T{B}_k{\sigma }_k}$
• $y_k=g_{k+1}-g_k,{\sigma }_k=w^{k+1}-w^k$
• 7.k=k+1,从3重复