机器学习之逻辑回归（logistic regression）

概述

• 逻辑斯蒂回归实质是对数几率回归（广义的线性回归），是用来解决分类问题的。
• 其中sigmoid用来解决二分类问题，softmax解决多分类问题，sigmoid是softmax的特殊情况。
• 数学建模直接针对分类可能性建模。
• 参数学习可用极大似然估计或贝叶斯估计，利用极大似然估计求得的目标函数与交叉熵损失一致。
• 梯度下降之sigmoid和softmax函数的求导。

---

一、基本的数学概念和推导

1. logistic函数（也叫logistic分布函数）

• logistic函数形如“S”,具体公式如下：
  $f(x)=\frac{L}{1+{e}^{-k(x-x_0)}}$
  其中：$x_0$代表中点，$L$代表函数的最大值，$k$代表曲线的陡度。
• 标准的logistic函数（即sigmoid函数），$x_0=0，k=1,L=1$，即：
  $f(x)=\frac{1}{1+{e}^{-x}}$
  

2.sigmoid函数

• 概念
  sigmoid是logistic函数的特例，如上所述，$x_0=0，k=1,L=1$时，logistic函数就退化为sigmoid函数。
  

  $$f(x)=\frac{1}{1+{e}^{-x}}$$

• 考察sigmoid函数的性质

  • 关于（0,0.5)中心对称
  • 值域：$f(x)\in$[0,1]
  • 梯度饱和：$x\to\infty,f(x)\to0$
  • 简单变形：
    $$f(x)=\frac{1}{1+{e}^{-x}}= \frac{e^x}{1+e^x}\\ \frac{e^x}{1+e^x} = 1- \frac{{e^-}^x}{1+{e^-}^x}\to f(x)=1-f(-x)$$
  • 导数
    $f^{'}(x)=f(x)\times(1-f(x)) \in[0,\frac{1}{4}]$，梯度饱和的原因。推导如下：
    $$\begin{aligned} f^{'}(x) & ={(\frac{1}{1+{e^-}^x})}^{'}\\ & =\frac{{e^-}^x}{(1+{e^-}^x)^2}\\ & =\frac{{e^-}^x}{1+{e^-}^x}\times\frac{1}{1+{e^-}^x}\\ & =\frac{1}{1+e^x}\times\frac{e^x}{1+e^x} (变形一)\\ & =f(x)\times(1-f(x)) \end{aligned}$$
• 应用
  
  • 神经网络中的激活函数
  • 分类问题：二项逻辑回归（sigmoid回归）

3.softmax函数

• 基本概念
  softmax也被称为指数规范函数，是logistic函数的泛化。通过把一个k维空间的向量$z$的值（具有任意性）压缩到另一个k维空间的向量$\sigma(z)$,它的每一个值都在(0,1)并且所有值的和为1（具有天然的概率分布的特性）,数学表示如下：
  $$\sigma:R^K\to\{z\in R^K|z_i\ge0,\sum\limits_{i=1}^Kz_i=1\} \\ \sigma(z_j)=\frac{e^{z_j}}{\sum\limits_{k=1}^Ke^{z_k}},j=1,2,...,K$$
  矩阵形式：
  
  σ(z)=⎡⎣⎢⎢⎢⎢σ(z1)σ(z2)...σ(zK)⎤⎦⎥⎥⎥⎥=1∑Kk=1ezk⎡⎣⎢⎢⎢⎢e