8. 逻辑回归Logistic Regression

8. 逻辑回归Logistic Regression

---

• pdf版本下载：https://pan.baidu.com/s/1i4FajHF
• html版本下载：https://pan.baidu.com/s/1i5kOls5

  逻辑回归（Logistic Regression），按照写博客的经典句式，先要吹一波LR是机器学习十大经典算法之一。逻辑回归在本质上也是一种线性回归或者说是广义的线性回归，它可以处理一些非线性的问题。它常常用于一些分类问题当中，为了接下来解释的方便，我们仅仅讨论二分类问题下的逻辑回归。

---

1 Sigmoid函数

• 要了解逻辑回归，必须先知道Sigmoid函数，大家常常把它称之为S型转换函数，表达式为：$f(x) = \frac{1}{1+e^{-x}}，x\in (-\infty, +\infty)$，函数图像如下：
  

  

• 很明显，Sigmoid函数可以将连续变量$x$转换至$(0,1)$范围内。

• Sigmoid还有一个非常重要的性质要提一下：

$f'(x) = f(x)\cdot(1-f(x))$

---

2 Logistic Regression基本形式

  了解了Sigmoid函数之后，我们再来看一下逻辑回归。逻辑回归本质上就是一个经过了Sigmoid函数转换的线性回归，怎么回事呢？一个式子就可以说明了，$f(w^Tx) = \frac{1}{1+e^{-w^Tx}}$。相当于先做一个线性回归，再进行一次S函数转换。

• Logistic Regression形式十分简洁，但是作用还是很多的，比如说癌症等一些疾病的诊断；广告的点击率预测；垃圾邮件的分类等等
• $f(x) = \frac{1}{1+e^{-x}}$这个函数在$x>0$的时候取值大于0.5，在$x<0$的时候取值小于0.5，因此可以通过函数的取值来对样本进行分类，在$>0.5$的时候分类为正，相反分类为负。

---

3 参数求解

  Logistic Regression中参数只有$w$。如何估计/求解呢？

• 首先做一些记号以及规定：$f(w,x) = g(w^Tx) = \frac{1}{1+e^{-w^Tx}}$
  $\ \ \ \ \begin{cases} P(y = 1| x,w) = f(w,x)\ P(y = 0| x,w) = 1- f(w,x)\ \end{cases}$

  • 需要注意的是，在逻辑回归中我们的损失函数是取为对数损失函数，形式如下：
    

    $J(f(w,x) , y) = \begin{cases} -log(f(w,x)),\ \ \ \ y=1\ -log(1-f(w,x)),\ \ \ \ y=0\ \end{cases}$

  • 因此：
    

    $J(w) = \frac{1}{m}\sum\limits_{i=1}^{m}J(f(w,x_i),y_i) = -\frac{1}{m}\sum\limits_{i=1}^{m}[y_ilog(f(w,x_i))+(1-y_i)log(1-f(w,x_i))]$

    而：
    

    $P(y|x,w) = f(x,w)^y\cdot (1-f(w,x))^{1-y}$

    所以似然函数为：
    

    $L(w) = \prod\limits_{i=1}^{m} P(y_i|x_i,w) = \prod\limits_{i=1}^{m}f(x_i,w)^{y_i}\cdot (1-f(w,x_i))^{1-y_i}$

    取对数：
    

    $l(w) = \sum\limits_{i=1}^{m}[y_i log(f(x_i,w))+ (1-y_i)log((1-f(w,x_i))]$

  • 利用梯度下降法更新参数：
    

    
    $\begin{eqnarray} \frac{\partial}{\partial w}J(w) &=& -\frac{1}{m}\sum\limits_{i=1}^{m}[\frac{y_i}{f(w,x_i)}\frac{\partial f(w,x_i)}{\partial w} - \frac{1-y_i}{1-f(w,x_i)}\frac{\partial f(w,x_i)}{\partial w}] \nonumber \ &=& -\frac{1}{m}\sum\limits_{i=1}^{m}[\frac{y_i}{f(w,x_i)} - \frac{1-y_i}{1-f(w,x_i)}]f(w,x_i)(1-f(w,x_i))x_i \nonumber \ &=& -\frac{1}{m}\sum\limits_{i=1}^{m}[y_i(1-f(w,x_i)) - (1-y_i)f(w,x_i)]x_i\nonumber \ &=& \frac{1}{m}\sum\limits_{i=1}^{m}[f(w,x_i)-y_i]x_i \nonumber \end{eqnarray}$
    

    因此：
    

    $w_{new} = w_{old} - \alpha \frac{1}{m}\sum\limits_{i=1}^{m}x_i(f(w,x_i)-y_i)$

    其中，$\alpha$为学习率，并且这里应用的是梯度下降算法。在实际运算中，往往会替代为随机梯度下降或其他更有效率的算法。具体细节会在今后的章节当中细说。

  • ---

    4 算法评价

    • 优缺点

      • 优点：容易计算，易于理解与实现
      • 缺点：拟合精度不一定理想

    • 一些改进的措施：和线性回归类似，逻辑回归中也可以加入正则项以控制参数。
      

      $J(w) = -\frac{1}{m}\sum\limits_{i=1}^{m}[y_ilog(f(w,x_i))+(1-y_i)log(1-f(w,x_i))] + \frac{\lambda}{2m}\sum\limits_{i=1}^{n}w_j^2$

    $w_0 = w_0 - \alpha \frac{1}{m}\sum\limits_{i=1}^{m}x_{i0}(f(w,x_i)-y_i)$
    $w_j = w_j - \alpha \frac{1}{m}\sum\limits_{i=1}^{m}[x_{ij}(f(w,x_i)-y_i)+\lambda w_j]$