机器学习（八）：逻辑回归的代价函数和梯度下降

一、逻辑回归的代价函数

逻辑回归：

              

如果使用平方误差代价函数来计算逻辑回归的损耗，代价函数如下图所示，有很多个局部最小值，很难得到全局最小值。

1、代价函数选取

逻辑回归的代价函数可以使用这种算法：

其中，是第i项的预测值和真实值y的损耗。

采样这种算法：

2、代价函数为什么能生效？

-log(f)的曲线如下所示，f（即预测的值）一定是在0到1之间

选取0-1区间的曲线，当真实值y=1时，预测值越接近真实值，损失loss最小，预测值越远离真实值，损失越大。预测值为1时，损失是0，预测值是0时，损失loss是。如下图所示。

-log(1-f)的曲线如下所示，f（即预测的值）一定是在0到1之间

选取0-1区间的曲线，当真实值y=0时，预测值越接近真实值，损失loss最小，预测值越远离真实值，损失越大。预测值为0时，损失是0，预测值是1时，损失loss是，如下图所示。

二、逻辑回归的代价函数简化版

单项损失可以写成：

当y=1时，这项为0，即：

当y=0时，这项为0，即：

因此，等同于：

逻辑回归的代价函数可简化成：

三、代价函数的梯度下降

梯度下降依旧使用：

代入代价函数J求导得到：

逻辑回归代价函数的梯度下降依旧可以：

1、使用学习曲线来观察梯度下降是否正常

2、向量化表达

3、特征缩放

学习来源：B站吴恩达的机器学习：P34-P36，8.1-9.1节