吴恩达2022机器学习专项课程C1W1：1.12 成本函数的直观理解

成本函数

• 衡量模型与训练数据的吻合程度，成本函数越小，代表模型预测越精准。

成本函数和w，b参数的关系

成本函数的计算需要预测值，而预测值需要通过线性回归公式才能计算，线性回归公式需要w，b。因此我们可以尝试不同的w，b，来看看如何设置w，b能够尽可能让线性回归的成本函数的值最小。

简化成本函数

为了方便理解成本函数，只需找到让成本函数尽量小的w参数即可。

不同的w参数

• w为1，左图里模型为粉色线条，能够完美拟合训练集的数据。右图代表此时成本函数的值为0，模型预测没有误差。

• w为0.5，模型偏离了训练集数据。右图成本函数的值为0.58，表示此时的模型预测有误差。

• w为0，模型更严重的偏离了训练集数据，右图的成本函数为2.3，模型预测更加不准确。

w对成本函数和模型的影响：

w为负数，成本函数的值很大，表示模型预测的误差很大。随着w不断变大，成本函数的值变小，模型预测的误差在持续减小，当w为1，成本函数的值最小，模型预测的误差最小。w继续增加，成本函数的值又变大，模型的预测误差又持续变大。

总结

通过简化线性回归模型（f=wx），更方便的理解模型参数是如何影响成本函数和模型预测的精确度。随着w的持续增加，成本函数的值呈现V字形，同时模型的预测由误差逐渐减小到误差逐渐增大。当成本函数的值处在最低点时，表示当前的w是最优解，线性回归模型使用当前w参数进行的预测，误差最小。