逻辑回归（二）：Loss易导

回顾

书接上回，讲到了逻辑回归的Loss函数的一般形式，大体如下：
$$\begin{gathered} L(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)}) \\ =\frac{1}{m}\sum _{i=1}^m[-y^{(i)}log(h_{\theta }(x^{(i)}))-(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))] \\ {h}_{\theta }(x)=g({\theta }^{T}X) \\ g(z)=\frac{1}{1+e^{-z}} \end{gathered}$$

梯度下降

已经有了Loss函数，那么我们要做的事情就是通过梯度下降的方法来确定最佳参数$\theta$，使得对于训练集的所有数据，Loss函数值最小。那么我们就来对这看似复杂的函数进行一下求导吧。

对Loss函数求偏导

我们知道函数有以下形式：
$$L(\theta )=\frac{1}{m}\sum _{i=1}^m[-y^{(i)}log(h_{\theta }(x^{(i)}))-(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]$$
$\frac{1}{m}$是常数，我们可以先放至一边。括号里面的$y^{(i)}$和$(1-y^{(i)})$都是常数，对导数的形式并无影响。Loss函数对$\theta$求偏导有以下形式：
$$\frac{\partial L(\theta )}{\partial {\theta }_j}=\frac{}{m}$$