统计学习方法学习笔记：第六章.逻辑回归与最大熵模型

第六章 逻辑回归与最大熵模型

逻辑回归和最大熵模型都是对数线性模型；
模型的学习就是在给定的训练数据集下对模型（这里是$条件概率分布$）进行$极大似然估计$；

逻辑回归模型：

$P(Y=k|x)=\frac{e^{w_k\cdot x}}{1+\sum _{k=1}^{K-1}{e}^{w_k\cdot x}},k=1,2,3,...,K-1;$

$P(Y=K|x)=\frac{1}{1+\sum _{k=1}^{K-1}{e}^{w_k\cdot x}}$

这里，$(x,w_k)\in R^{n+1}$；
当K =2 时，就是二项逻辑回归；
二项逻辑回归模型参数的估计：
$L(w)=\sum _{i=1}^n[y_{i}log(h(x_i)+(1-y_i)log(1-h(x_i)]=\sum _{i=1}^n[y_i(w\cdot x_i)-log(1+e^{w\cdot x_i}]$
这里h(x) 为sigmoid 函数，即上述公式中的模型;可以通过对L(w)求解最大值或者-L(w)的最小值来求解w，可以运用梯度下降、拟牛顿法等进行优化；

最大熵模型：

一般形式：

$P_w(y|x)=\frac{1}{Z_w(x)}exp(\sum _{i=1}^n{w}_i{f}_i(x,y));$

$Z_w(x)=\sum _{y}exp\sum _{i=1}^n{w}_i{f}_i(x,y));$
上式中的$f_i(x,y)$为x，y满足的任意实值函数（条件）；

最大熵模型的思想就是：

对于训练集D，其输出Y的条件概率分布熵值最大时，认为是最优的解，最大熵的学习目的就是求解能使条件熵最大的那个模型（也就是Y的条件概率分布）；

最大熵分类模型中存在下列约束优化问题：

$min-H(P)=\sum _{(x,y)}\tilde{P}(x)P(y|x)log(P(y|x)),$

$s.t.E_P(f_i)=E_{\tilde{P}}(f_i);\sum _{y}P(y|x)=1;$（约束条件）

其中$E_P(f_i)=\sum _{(x,y)}\tilde{P}(x)P(y|x)f(x,y),$为特征函数f关于模型P(Y|X)和经验分布$\tilde{P}(X)$的期望；

$E_{\tilde{P}}(f_i)=\sum _{(x,y)}\tilde{P}(x,y)f(x,y)$,为特征函数f关于经验分布$\tilde{P}(x,y)$的期望；

• 因为优化问题为有约束条件的优化问题，所以使用广义拉格朗日乘数法来转化为无条件的最优化问题；
• 然后将原始问题转化为求解对偶问题（极大极小问题转为极小极大问题），对于凸优化问题来说，二者的解是相同的；
• 求解出了最大熵模型$P_w(y|x)$之后，代入到对偶函数中，然后采用优化方法（梯度下降、牛顿法、改进的迭代尺度法）来求得w的值，最后反代入最大熵模型，求得最终的模型