统计学习方法——逻辑斯蒂回归与最大熵模型（一）

逻辑斯蒂回归与最大熵模型

逻辑斯蒂回归是统计学中常用的经典分类方法；
最大熵是概率模型学习的一个准则，扩展到分类问题得到最大熵模型。
都属于对数线性模型

逻辑斯蒂回归模型

逻辑斯蒂分布

设$X$为连续随机变量，$X$服从逻辑斯蒂分布是指$X$具有如下的分布函数和密度函数：
$$F\left(x\right)=P\left(X\le x\right)=\frac{1}{1+e^{-\left(x-\mu \right)/\gamma }}$$
$$f\left(x\right)=F^{\prime }\left(x\right)=\frac{e^{-\left(x-\mu \right)/\gamma }}{\gamma {\left(1+e^{-\left(x-\mu \right)/\gamma }\right)}^2}$$
其中$\mu$为位置参数，$\gamma >0$为形状参数。

其图像如下所示：

可以发现图形为$S$形曲线，以点$\left(\mu ,\frac{1}{2}\right)$中心对称，$\gamma$越小，曲线在中心附近增长越快。

二项逻辑斯蒂回归模型

• 逻辑斯蒂回归模型
  二项式逻辑斯蒂回归模型的条件概率如下：
  $$P\left(Y=1|x\right)=\frac{\exp \left(w\cdot x+b\right)}{1+\exp \left(w\cdot x+b\right)}$$
  $$P\left(Y=0|x\right)=\frac{1}{1+\exp \left(w\cdot x+b\right)}$$
  这里$x$为输入， Y ∈ { 0 , 1 } Y\in \left\{0,1\right\} Y∈{ 0,1}为输出，$w$和$b$为参数，$w\cdot x$为内积。
• 特点
  • 输出$Y=1$的对数几率是输入$x$的线性函数
    设事件发生的概率为$p$，则发生几率为$\frac{p}{1-p}$，对数几率为：
    l o g i t ( p ) = log ⁡ p 1 − p = log ⁡ P ( Y = 1 ∣ x