逻辑回归笔记

逻辑回归

• 逻辑回归属于一个二分类器

  • sigmoid函数 s=$\sigma ({\omega }^{T}x+b)$=$\sigma (\omega 1x1+\omega 2x2+\omega 3x3...\omega nxn+b)$= $\sigma (z)$ =$\frac{1}{1+e^{-z}}$
    

• 如果sigmoid函数 $e^{-z}$ z越大结果越趋近于1 ，z越小越趋近于0

• 损失函数 $L(\hat{y}-y)=\frac{1}{2}(\hat{y}-y{)}^2$ 会陷入多个局部最小点因此逻辑回归不用它

• 逻辑回归损失函数一般用$L(\hat{y}-y)=-(ylog\hat{y})-(1-y)log(1-\hat{y})$

  • 如果y=1,损失为-log$\hat{y}$,那么想要损失值越小 $\hat{y}$的值必须越大 即越趋近或者等于1
  • 如果y=0,损失为-log$\hat{y}$,那么想要损失值越小 $\hat{y}$的值必须越小 即越趋近或者等于0
  • 因为数据一般是多维的应该求所有损失值的平均值，训练全体样本的公式为$J(w,b)=\frac{1}{m}{\sum }_{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})$

• 二分类问题
  $p(y=1|x，w)=\frac{1}{1+e^{(}-w^{T}x+b)}$

  $p(y=0|x，w)=\frac{e^{-w^{T}x+b}}{1+e^{-w^{T}x+b}}$

• 对两个公式进行合并
  $p(y|x，w)=p(y=1|x，w{)}^y[1-p(y=0|x，w{)}^{1-y}]$

• 证明逻辑回归是线性分类器
  $e^{-w^{T}x+b}=1$ 两边同时加上log得出 -wx+b=0所以为线性分类

  • 最大释然估计,最大化目标函数,进行逻辑回归目标函数的推导
    ${\hat{w}}_{MLE},{\hat{w}}_{MLE}=argmax{\prod }_{i=1}^{n}p(y_i|x_i,w,b)$
    $=argmaxlog({\prod }_{i=1}^{n}p(y_i|x_i,w,b))$
    $=argmax{\sum }_{i=1}^{n}logp(y_i|x_i,w,b)$
    $=argmin-{\sum }_{i=1}^{n}logp(y_i|x_i,w,b)$
    $=argmin-{\sum }_{i=1}^{n}log[p(y_i=1|x_i,w,b{)}^y]\ast [1-p(y_i=1|x_i,w,b{)}^{1-y}]$
    $=argmin-{\sum }_{i=1}^{n}log[y\ast p(y_i=1|x_i,w,b)]+(1-y)\ast [1-p(y_i=1|x_i,w,b)]$
    $=argmin-{\sum }_{i=1}^{n}logy\ast \sigma ({\omega }^{T}x+b)+(1-y)\ast [1-\sigma ({\omega }^{T}x+b)]$
  • 进行求导 推出梯度下降
    $\frac{\theta (\omega ,b)}{{\theta }_{\omega }}=-{\sum }_{i=1}^{n}logy\ast \frac{\sigma ({\omega }^{T}x+b)\ast [1-\sigma ({\omega }^{T}x+b)]}{\sigma ({\omega }^{T}x+b)}\ast x_i+(1-y)\ast \frac{-\sigma ({\omega }^{T}x+b)\ast [1-\sigma ({\omega }^{T}x+b)]}{1-\sigma ({\omega }^{T}x+b)}\ast x_i$
    $=-{\sum }_{i=1}^n{y}_i(1-\sigma ({\omega }^{T}x+b))x_i+(y-1)\ast \sigma ({\omega }^{T}x+b))x_i$
    $=-{\sum }_{i=1}^n{y}_i-\sigma ({\omega }^{T}x+b)x_i$
    $={\sum }_{i=1}^n[\sigma ({\omega }^{T}x+b)-y_i]x_i$

  $\frac{\theta (\omega ,b)}{{\theta }_b}=-{\sum }_{i=1}^{n}logy\ast \frac{\sigma ({\omega }^{T}x+b)\ast [1-\sigma ({\omega }^{T}x+b)]}{\sigma ({\omega }^{T}x+b)}+(1-y)\ast \frac{-\sigma ({\omega }^{T}x+b)\ast [1-\sigma ({\omega }^{T}x+b)]}{1-\sigma ({\omega }^{T}x+b)}$
  $=-{\sum }_{i=1}^n{y}_i(1-\sigma ({\omega }^{T}x+b))+(y-1)\ast \sigma ({\omega }^{T}x+b))$
  $=-{\sum }_{i=1}^n{y}_i-\sigma ({\omega }^{T}x+b)$
  $={\sum }_{i=1}^n[\sigma ({\omega }^{T}x+b)-y_i]$

  • 梯度下降
    初始化 $w^{‘},b^{‘}$
    for t=1,2,3…
    $w^{‘}=w^t-\theta {\sum }_{i=1}^n[\sigma ({\omega }^{T}x+b)-y_i]x_i$
    $b^{‘}=w^t-\theta {\sum }_{i=1}^n[\sigma ({\omega }^{T}x+b)-y_i]$