由于Logistic回归面对的是分类问题,其结果是离散的,因此我们使用Sigmoid函数进行拟合分类。
if g > 0.5 Y = 1
if g <= o.5 Y = 0
在线性回归中我们使用了
表示损失函数loss, 对应本文中的逻辑回归,我们的loss函数如下:
但是该函数为一个非凸函数,其图像如下:
对于非凸函数,使用梯度下降算法,权值很容易收敛到局部最小值M',而非M
因此我们需要修改逻辑回归的损失函数loss
综合简化一下:
因此:
梯度下降:
1.
2.
3.
4.
5.