逻辑回归(logistics regression)

逻辑回归是一种广义的线性回归模型，它通过一个单调可微的函数将结果标签和线性回归预测值联系起来，在西瓜书中开头便介绍了单位阶跃函数
$$f(x)=\{\begin{array}{rlr}0& =& z<0\\ 0.5& =& z=0\\ 1& =& z<0\end{array}$$
显然这个函数不连续也不可微，那么我们便找到了一种新的替代函数：sigmoid函数
$$sigmoidf(z)=\frac{1}{1+e^{-z}}$$
这个函数曾经是深度学习最常用的激活函数，但是因为求导最大值为0.25，容易造成梯度消失等原因，被像线性整流函数（ReLu）等抢走了风头。讲了点题外话～～

那么在二分类问题中，常常以0.5作为分界线，将结果划分为两类，从上面的图像也可以看出，sigmoid函数非常的适合。
接下来对sigmoid函数进行求导：
d f ( z ) d z = e − z ( 1 + e − z ) 2                                 = 1 1 + e − z    ∗    e − z 1 + e − z                      = f ( z ) ( 1 − f ( z ) ) \frac{df(z)}{dz}=\frac{e^{-z}}{(1+e^{-z})^2} \\ ~\\ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~=\frac{1}{1+e^{-z}} \ \ *\ \ \frac{e^{-z}}{1+e^{-z}}\\ ~\\ \ \ \ \ ~~~~~~~~~~~~~~=f(z)(1-f(z)) dzdf(z)​=(1+e−z)2e−z​<