机器学习--逻辑回归

机器学习–逻辑回归

如有错误或者疑问，欢迎交流，转载请注明出处

定义

逻辑回归(logistic regression)是分类算法

• sigmoid函数
  $g(z)=\frac{1}{1+e^{-z}}$

  $\begin{eqnarray*}g'(z)&=&\frac{1}{(1+e^{-z})^2}e^{-z} \\ &=&\frac{1}{1+e^{-z}}(1-\frac{1}{1+e^{-z}}) \\ &=& g(z)(1-g(z))\end{eqnarray*}$

• 假设函数hypotheses
  $h(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$

  认为$h(x)$代表其为正例的概率

  $p(y|x;\theta)=h(x)^y(1-h(x))^{1-y}$

• 目标函数
  转换成概率之后，一般使用最大似然的方法，概率相乘，m是训练样本数目

  $L(\theta)=\prod_{i=1}^mh(x^i)^{y^i}(1-h(x^i))^{1-y^i}$

  loglike hood:
  $l(\theta)=\sum_{i=1}^my^ilogh(x^i)+(1-y^i)log(1-h(x^i))$

  目标就是最大化loglike hood函数

优化目标函数

• 梯度上升
  以一个样本为例
  $\begin{eqnarray*}\partial l(\theta_j)/\partial \theta_j&=&(y\frac{1}{h(x)}-(1-y)\frac{1}{1-h(x)}) \frac{\partial}{\partial \theta_j}h(x)\\&=&(y\frac{1}{h(x)}-(1-y)\frac{1}{1-h(x)}))h(x)(1-h(x))\frac{\partial}{\partial \theta_j}\theta^Tx \\ &=&(y(1-h(x))-(1-y)h(x))x_j \\ &=&(y-h(x))x_j\end{eqnarray*}$

  $\theta_j:=\theta_j+\alpha(y-h(x)x_j)$

  batch gradient ascent

  $\theta_j:=\theta_j+\sum_{i=1}^m\alpha(y^i-h(x^{(i)}))x_j^{(i)}$

• 牛顿法

  首先$f(x+\Delta x)=f(x)+f'(x)\Delta x+f''(x){\Delta x}^2$

  利用极值点的必要条件$\Delta f(x)=0$

  得到$x_{n+1}=x_n-\frac{f'(x_n)}{f''(x_n)}$

  =====================================
  用在逻辑回归的目标函数中

  $\theta:=\theta+H^{-1}\Delta$ (注意这里是梯度上升)

  $\Delta_i=\frac{\partial}{\partial \theta_i}l(\theta)$

  $H_{ij}=\frac{\partial}{\partial \theta_i \partial \theta_j}l(\theta)$