吴恩达机器学习6-4代价函数学习收获

如何拟合logistic模型参数θ，用来拟合的参数优化目标或者叫代价函数。假设训练集有m个训练样本，每个训练样本中用n+1维的特征向量表示，x0=1，具体实例如下图所示。

如果依然使用线性回归中的均方误差来作为代价函数，由于1 / ( 1 + e − x )结构复杂，那么会导致Logistic回归的代价函数是非凸函数。如下图中的左侧所示，非凸函数有多个局部最优解，梯度下降法不能很好地工作。

因此，需要为Logistic回归单独设计其他的代价函数，想到引入log函数，单个样本的代价计算如下。

根据数学知识可以证明，这样的代价函数，是一个凸函数，没有局部最优解。当真实值是1时，如果预测值也是1，单个样本的代价是0；如果预测值是0，单个样本的代价是无穷大。具体情况如下图所示。

当真实值是0时，如果预测值也是0，单个样本的代价是0；如果预测值是1，单个样本的代价是无穷大，说明就要付出较大的代价。