Logistic Regression逻辑回归的一些知识点

关于Logistic Regression的一些知识点：

1. 为什么损失函数不用平方误差：
   $$L=\frac{1}{2m}\sum _i^m(\hat{y}-y{)}^2$$
   答：这样的损失函数不是凸的，梯度下降法会陷入局部最小值。
   
   二分类问题的损失函数：
   $$L=-\frac{1}{m}\sum _i^m(y\log \hat{y}+(1-y)\log (1-\hat{y}))$$

另外，使用平方误差 + sigmoid激活函数，所得backprop梯度为：
$$\{\begin{array}{rl}& {\delta }^L=(\hat{y}-y)\odot {\sigma }^{\prime }(z^L)\\ & {\delta }^l=(W^{l+1}{)}^T{\delta }^{l+1}\odot {\sigma }^{\prime }(z^l)\end{array}$$

而使用交叉熵，所得backprop梯度为：
$${\delta }^L=\hat{y}-y$$
表达式里面没有了${\sigma }^{\prime }(z)$，一定程度上避免了反向传播梯度小，收敛速度慢的问题。