lhy机器学习（二）： ML Lecture 5 Logistic Regression（逻辑回归）（一）

 

ML Lecture 5 Logistic Regression（逻辑回归）（一）

1.逻辑回归模型

我们看到逻辑回归公式如下

代表样本x属于C1的概率，利用极大似然估计做出损失函数L（w,b），L（w,b）取ln然后取-号，其实就是使L（w,b）最大转换为使-ln（L（w,b））最小。

 

 

上图推导就是为了说明交叉熵与我们的L（w，b）的关系，于是我们的损失函数-ln（L（w,b））就变成了如下形式：

2.逻辑回归模型和线性回归模型对比

 

 

我们对逻辑回归损失函数-ln(L（w,b）)对w求偏导

哦吼，看上图的推导，我们求出来逻辑回归的偏导，然后写出w的梯度下降更新公式，

 

我们在看下图，哦吼，发现了什么，逻辑回归的偏导和线性回归的偏导是一样的，因此梯度下降公式一样，那为什么我们的损失函数不使用∑（y预测-y真实）^2呢，就是线性回归使用的均方误差，直接用均方误差求偏导不也是这个式子吗，so 我们是不是根本不需要使用交叉熵，然后根据似然估计做出损失函数，再求偏导，这不是走了弯路了吗？？

 

 

答案是no，原因且让我慢慢告诉大家

如果逻辑回归使用均方误差作为损失函数：

那么我们通过推导损失函数L（w,b）对w的偏导如下，我们发现：

（1）当真实类别为1时，我们预测的类别也为1的情况下，偏导为0，这时损失降到最低，ok，是不是很合理？

（2）那真实类别为1时，我们预测的类别为0的情况下，偏导也为0，

Oh，no，这特么在逗我？

真实类别为0时的情况同理

 

 

所以交叉熵和均方误差的损失函数画出来就如下图所示了，均方误差损失函数在远离损失最低点的值很小，靠近损失最低点的值也很小，那还梯度个球啊！