每天五分钟机器学习：逻辑回归算法的损失函数

本文重点

现在我们已经学习逻辑回归算法的假设函数了，假设函数中是有参数θ的。参数θ怎么确定？我们还没有学习。

在线性回归算法中，学要想学习到最好的参数θ，我们需要对线性回归的损失函数进行梯度下降，那么逻辑回归的损失函数是什么？

训练集

训练集是一个二分类问题，所以y=0或者y=1。每一个样本用n+1维的特征向量表示：

损失函数

在学习线性回归算法时，定义的损失函数是所有样本误差的平方和。现在我们仍然使用误差平方和定义逻辑回归的假设函数：

其中cost为：

使用误差平方和作为损失函数合适吗？

答案是不合适，因为如果用这个作为逻辑回归的损失函数的话，我们将hθ(x)带入到损失函数中，此时的J(θ)是非凸，这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最