机器学习笔记之(六)Logistic回归

逻辑回归(Logistic Regression)

前面介绍了线性回归的问题，这里接着引出逻辑回归的问题，一般逻辑回归用于解决分类问题，以二分类为例。

sigmoid函数

sigmoid是一个非线性函数，也是一种激活函数，表达式为$g(x) = \frac{1}{1+e^{-x}}$主要为了去线性化其图像如下，而且具有良好的性质，中心对称，光滑可导。

sigmoid函数的导数

我们来看一下sigmoid函数的导数是什么样的(后面用梯度下降的方法的时候需要用到)

$$\begin{align} g'(x) &= \big( \frac{1}{1+e^{-x}} \big)'\\ &= \frac{e^{-x}}{(1+e^{-x})^2} \\ &= \frac{1}{(1+e^{-x})^2}\cdot\frac{e^{-x}}{(1+e^{-x})^2}\\ &= \frac{1}{(1+e^{-x})^2}\cdot \big(1 - \frac{e^{-x}}{(1+e^{-x})^2}\big)\\ &=g(x)\cdot(1-g(x)) \end{align}$$

假设函数$h_{\theta}(x)$:

应用sigmoid函数的话，假设函数变为;

$$\begin{align} h_{\theta} = g(\theta^TX) = \frac{1}{1+e^{-\theta^TX}} \end{align}$$

给定样本$x_1,x_2 \cdots x_n$及样本类别$y_1,y_2,\cdots y_n$其中$y_i \in\{0,1\}$
我们做如下假设(分别表示给定样本的情况下，y属于哪个类别的条件概率)：

$$\begin{align} P(y=1 \mid x ;\theta) &= h_{\theta}(x)\\ P(y=0\mid x; \theta) &= 1-h_{\theta}(x) \end{align}$$

对于上面的两个式子，我们可以继续整合如下：

$$\begin{align} p(y \mid x;\theta) = (h_{\theta}(x))^y(1- h_{\theta}(x))^{1-y} \end{align}$$

因为现在x，y都是已知的，我们需要估计的参数是$\theta$,所以对于上述的式子，我们可以用极大似然估计来求$\theta$

$$\begin{align} L(\theta) &= \prod_{i=1}^{n}p(y^{(i)} \mid x^{(i)};\theta)\\ &=\prod_{i=1}^{n} (h_{\theta}(x))^y(1- h_{\theta}(x))^{1-y} \end{align}$$

取对数得对数似然：

$$\begin{align} l(\theta) &= logL(\theta)\\ &=\sum_{i=1}^{n} y^{(i)}log h_{\theta}(x^{(i)}) + (1 - y^{(i)})log (1- h_{\theta}(x^{(i)})) \end{align}$$

对$\theta$求偏导数：

$$\begin{align} \frac{\partial l(\theta)}{\partial \theta_j} &= \bigg(\frac{y^{(i)}}{g(\theta^Tx)} - (1-y^{(i)})\frac{1}{1-g(\theta^Tx)}\bigg)\cdot \frac{\partial g(\theta^Tx)}{\partial \theta_j} \\ &=\bigg(\frac{y^{(i)}}{g(\theta^Tx)} - (1-y^{(i)})\frac{1}{1-g(\theta^Tx)}\bigg)\cdot g(\theta^Tx)\cdot(1-g(\theta^Tx))\cdot \frac{\partial \theta^Tx}{\partial \theta_j}\\ &=\bigg(y^{(i)} \cdot(1-g(\theta^Tx)) - (1-y^{(i)})\cdot g(\theta^Tx)\bigg)\cdot x_j\\ &=(y^{(i)} - g(\theta^Tx))\cdot x_j\\ &=(y^{(i)} - h_{\theta}(x))\cdot x_j \end{align}$$

有了关于$\theta$的梯度表达式，那么在逻辑回归中就可以根据梯度下降算法来更新$\theta$的值，因为我们使用极大似然估计来估计$\theta$$，所以从极大似然估计的角度来看，应用梯度下降的时候更新$\theta$的值是沿着似然函数的正梯度上升的，即Logistic的学习规则如下：
\begin{align} \theta_j = \theta_j + \alpha \cdot ((y^{(i)} - h_{\theta}(x))\cdot x_j) \end{align}