逻辑回归笔记

逻辑回归

以线性回归为基础，逻辑回归可以处理更加复杂的非线性拟合曲线。

较线性回归相比，逻辑回归的改动，就是在的基础上添加了sigmoid函数运算g(z)，如下图所示。

以（0,1）区分预测正负样本，阈值通常取0.5.

逻辑回归的凸函数

线性回归的计算方法，是通过计算差值最小值求得模型最佳的拟合曲线，方法使用到了梯度下降。

逻辑回归的运算方法我们同样使用梯度下降进行极小值的寻找，但因为逻辑回归中包含sigmoid函数，所以求得的曲线比较复杂，所以在曲线比较波折的时候，使用梯度下降很容易陷入一个局部极小值中，我们需要把这种复杂函数变为凸函数，以便求的最小值，如下图所示。

为了得到一个凸函数，求得最小值点，使用极大似然估计，将代价函数进行修改，以cost()函数替换代价函数。

代价函数通过极大似然估计替换为下面这个函数

由公式可知，当y=1时，如果也等于1，cost则等于0，成本就为0，证明分类结果没有带来什么代价，证明预估是合理的。但 y=1时，如果等于0，则此时的代价函数趋向于正无穷，代价极高，证明分类出现问题。

同理， 当y=0时，如果也等于0，cost则等于0，成本就为0，证明预估是合理的。但y=0时， 如果等于1，则此时的代价函数趋向于正无穷，代价极高，证明分类出现问题。

梯度下降：

将复杂的代价函数优化为凸函数后，我们就可以使用梯度下降进行计算最小代价函数，将极大似然估计的函数带入到代价函数中，过程如下所示。

最终整合得到一个新的代价函数，就是图中的

 将这个代价函数带入到梯度下降的公式中，对代价函数的​​​​​​​求偏导。如下所示，求导后得到的公式与线性回归的梯度下降规则表面相同。因为在上面提到过将的定义进行了改变，在的基础上添加了sigmoid函数运算g(z)。

通过这个梯度下降函数，我们就可以改变学习率进而控制模型效果。

总结：