统计学习方法（六）：逻辑斯蒂回归和最大熵模型

• 逻辑斯蒂回归：判别模型，分类

• 二项逻辑斯蒂回归思路：
  线性回归的预测值为一系列实值，为了使输出值变成分类所需的0和1，需要有一个映射将线性回归的输出变在（0，1）之间。这个函数为sigmoid函数。
  $$sigmoid(x)=\frac{1}{1+{\mathrm{e}}^{-x}}$$
  将线性函数y = wx+b 先合并b到矩阵中：y = w’x’，代入到sigmoid函数中：
  $$y(x)=\frac{1}{1+{\mathrm{e}}^{-wx}}$$
  但是现在只是将输出限定在（0，1）间，还没有完成0、1二分类，应该出现一个阈值作为0或者1的判断界限。这个阈值就是要学习的东西，反映在参数上就是w和b。
  $$p_1=P(Y=1\mid x)=\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)}$$
  $$p_0=P(Y=0\mid x)=\frac{1}{1+\exp (w\cdot x)}$$
  $$P(y\mid x)=p_1^y{p}_0^{1-y}$$
  那么目的就是将$P(y\mid x)$最大化，输出使它最大化的w和b
  具体推导：
  其中的$\phi$表示$\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)}$

• 二项逻辑斯蒂回归可以推广至多项逻辑斯蒂回归，原理使一样的，只是分类不在只是0和1。

• 最大熵模型：判别模型

• 核心：解决约束最优化问题

• 思想：在给定训练集下，即给定约束(经验知识)下，能够得到符合约束的条件概率模型集合{P(y|X)}。其中，约束通过特征函数关联到条件概率，条件概率通过熵进行选择。

• 最大熵：在约束条件的情况下，会出现很多个满足约束条件的模型，其中该选哪一个呢？选择熵最大的，也就是最无法确定的是最符合自然规律的。

• 推导：根据约束和最大熵变为约束最优化问题，也就是一个方程组。
  $$\begin{array}{cl}{\max }_{P\in C}& H(P)=-{\sum }_{x,y}\tilde{P}(x)P(y\mid x)\log P(y\mid x)\\ \text{ s.t. }& E_P\left(f_i\right)=E_{\tilde{p}}\left(f_i\right),i=1,2,\cdots ,n\\ & {\sum }_{y}P(y\mid x)=1\end{array}$$

  • 这里的约束条件是：训练集样本经验分布的期望$E_{\tilde{p}}\left(f_i\right)$=模型的期望$E_P\left(f_i\right)$。以及所有情况的条件概率和为1。
    
  • 这里的最大熵为：$P(y\mid x)$的条件熵，也就是：$$\underset{p_{ϵ}\mathbf{C}}{\max }H(P)=-\sum _{x,y}\tilde{P}(x)P(y\mid x)\log P(y\mid x)$$
  • 这里转化为高数问题，运用拉格朗日乘子法计算约束问题