Logistic Regression梯度下降使用证明

最近在看机器学习实战，其中有些代码部分容易让人摸不着头脑。主要是代码里面把原理细节的东西隐藏了，为了更好地理解Logistic Regression，在这篇博客记录一下推导过程。

首先是Logistic Regression的损失函数(loss function): 其中y为实际值，a为计算值。

$L(y, a) = -[y*ln(a) + (1-y)*ln(1-a)]$

对于单个例子$x_i = (x_{i1}, x_{i2}... , x_{in})$ 和$w^T = (w_{1}, w_{2}... , w_{n})$有:

$a = sigmoid(x_i*w)$ 其中 $sigmoid(x) = \frac{1}{1+e^{-x}}$

对于$w$中的$w_j$来说，有以下链式求导：

$\frac{\partial{L(y, a)}}{\partial{w_j}} = \frac{\partial{L(y,a)}}{\partial{a}}\frac{\partial{a}}{\partial{(x_i*w)}}\frac{\partial{(x_i*w)}}{\partial{w_j}}$

其中$\frac{\partial{L(y,a)}}{\partial{a}} = -\frac{(y-a)}{a(1-a)}$

对于sigmoid函数来说有$g'(x) = g(x)(1-g(x))$ 故上述式子可$\frac{\partial{a}}{\partial{(x_i*w)}} = a(1-a)$

最后$\frac{\partial{(x_i*w)}}{\partial{w_j}} = x_{ij}$

所以$\frac{\partial{L(y, a)}}{\partial{w_j}} = -(y-a)x_{ij}$

推广到多例子的$w$有：
$\frac{\partial{L(y, a)}}{\partial{w}} = -X^T*(y-a)$

故对$w$的更新为以下式子：

$w = w + X^T(y-a)$