统计学习方法——逻辑斯蒂回归与最大熵模型（二）

逻辑斯蒂回归与最大熵模型

模型学习的最优化算法

由于逻辑斯蒂回归模型、最大熵模型学习都可以归结为以似然函数为目标函数的最优化问题，因此可以放在一起讨论。

改进的迭代尺度法（IIS）

改进的迭代尺度法是一种最大熵模型学习的最优化算法。

已知最大熵模型为
$$P_w\left(y|x\right)=\frac{1}{Z_w\left(x\right)}\exp \left(\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)$$
其中
$$Z_w\left(x\right)=\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)$$
对数似然函数为
$$L\left(w\right)=\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)-\sum _x\tilde{P}\left(x\right)\log Z_w\left(x\right)$$

• IIS的思路
  假设最大熵模型当前的参数向量为$w={\left(w_1,w_2,\cdots ,w_n\right)}^T$，我们希望找到一个新的参数向量$w+\delta ={\left(w_1+{\delta }_1,w_2+{\delta }_2,\cdots ,w_n+{\delta }_n\right)}^T$使得模型的对数似然函数值增大。
• IIS算法
  • 输入：特征函数$f_1,f_2,...,f_n$，经验分布$\tilde{P}\left(X,Y\right)$，模型$P_w\left(y|x\right)$
  • 输出：最优参数$w_i^{\ast }$，最优模型$P_{w^{\ast }}$
  • 流程
    • 对所有 i ∈ { 1 , 2 , ⋯   , n } i \in \left\{ {1,2, \cdots ,n} \right\} i∈{1,2,⋯,n}，取初值$w_i=0$
    • 对每一 i ∈ { 1 , 2 , ⋯   , n } i \in \left\{ {1,2, \cdots ,n} \right\} i∈{1,2,⋯,n}:
      • 令${\delta }_i$为方程$\sum _{x,y}\tilde{P}\left(x\right)P\left(y|x\right)f_i\left(x,y\right)\exp \left({\delta }_i,f^{\#}\left(x,y\right)\right)=E_{\tilde{P}}\left(f_i\right)$的解，其中$f^{\#}\left(x,y\right)=\sum _{i=1}^n{f}_i\left(x,y\right)$
      • 更新$w_i$：$w_i\leftarrow w_i+{\delta }_i$
    • 如果不是所有的$w_i$都收敛，则重复上一步骤。
  • 计算${\delta }_i$
    • 使用牛顿法迭代求得${\delta }_i^{\ast }$，迭代公式为：
      $${\delta }_i^{\left(k+1\right)}={\delta }_i^{\left(k\right)}-\frac{g\left({\delta }_i^{\left(k\right)}\right)}{g^{\prime }\left({\delta }_i^{\left(k\right)}\right)}$$
      适当选取初始值${\delta }_i^{\left(0\right)}$，牛顿法会快速收敛。

拟牛顿法

对于最大熵模型：
$$P_w\left(y|x\right)=\frac{\exp \left(\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)}{\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)}$$
目标函数：
$$\underset{w\in R^n}{\min }f\left(w\right)=\sum _x\tilde{P}\left(x\right)\log \sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)\right)-\sum _{x,y}\tilde{P}\left(x,y\right)\sum _{i=1}^n{w}_i{f}_i\left(x,y\right)$$
梯度为：
$$g\left(w\right)={\left(\frac{\partial f\left(w\right)}{\partial w_1},\frac{\partial f\left(w\right)}{\partial w_2},\cdots ,\frac{\partial f\left(w\right)}{\partial w_n}\right)}^T$$
其中$\frac{\partial f\left(w\right)}{\partial w_i}=\sum _{x,y}\tilde{P}\left(x\right)P_w\left(y|x\right)f_i\left(x,y\right)-E_{\tilde{P}}\left(f_i\right),i=1,2,\cdots ,n$

• 最大熵模型学习的BFGS算法
  • 输入：特征函数$f_1,f_2,\cdot ,f_n$，经验分布$\tilde{P}\left(x,y\right)$，目标函数$f\left(w\right)$，梯度$g\left(w\right)=\nabla f\left(w\right)$，精确要求$\epsilon$
  • 输出：最优参数$w^{\ast }$；最优模型$P_{w^{\ast }}\left(y|x\right)$
  • 流程
    • 选定初始点$w^{\left(0\right)}$，取$B_0$为正定对称矩阵，设置$k=0$
    • 计算$g_k=g\left(w^{\left(k\right)}\right)$，若$\Vert g_k\Vert <\epsilon$，则停止计算，得$w^{\ast }=w^{\left(k\right)}$，否则继续下面的计算
    • 由$B_k{p}_k=-g_k$求出$p_k$
    • 一维搜索：求${\lambda }_k$使得$f\left(w^{\left(k\right)}+{\lambda }_k{p}_k\right)=\underset{\lambda \ge 0}{\min }f\left(w^{\left(k\right)}+\lambda p_k\right)$
    • 设置$w^{\left(k+1\right)}=w^{\left(k\right)}+{\lambda }_k{p}_k$
    • 计算$g_{k+1}=g\left(w^{\left(k+1\right)}\right)$，若$\Vert g_{k+1}\Vert <\epsilon$，则停止计算，得到$w^{\ast }=w^{\left(k+1\right)}$，否则按下式求解$B_{k+1}$:
      $$B_{k+1}=B_k+\frac{y_k{y}_k^T}{y_k^T{\delta }_k}-\frac{B_k{\delta }_k{\delta }_k^T{B}_k}{{\delta }_k^T{B}_k{\delta }_k}$$
      其中$y_k=g_{k+1}-g_k,{\delta }_k=w^{\left(k+1\right)}-w^{\left(k\right)}$
    • 设置$k=k+1$，转第三步。

参考文献

《统计学习方法》