3.5Visualizing the cost function可视化代价函数
一、回顾:
Model:f(x)=wx+b
Parameters:w,b
Cost Function:J(w,b)=
Objective目的:minimizeJ(w,b)
二、研究J和w,b的关系
形成了类似汤碗的三维形状,当改变w,b的值时,会得到成本函数的不同值。
J越小,预测效果越好
三、习题补充:
四、代码部分:
①平面可视化
您的目标是找到一个模型 𝑓(𝑥)=𝑤𝑥+𝑏,参数为 𝑤,𝑏,该模型可以在输入 𝑥 的情况下准确预测房屋价值。成本是衡量模型在训练数据上准确程度的指标。上述成本方程 (1) 表明,如果𝑤 和 𝑏𝑏可以选择,从而使预测结果 𝑓(x)与目标数据 𝑦 匹配, (𝑓(𝑥)−𝑦())项将为零,成本最小。在这个简单的两点示例中,您就可以做到这一点!在上一个实验中,您确定了 𝑏=100𝑏=100 提供了一个最优解,因此让我们将 𝑏𝑏 设为 100,并关注 𝑤𝑤。
图中有几点值得一提。
当𝑤=200,成本函数最小,这与上一个实验室的结果一致。因为在成本方程中,目标和 pediction 之间的差值是平方,所以当𝑤𝑤过大或过小时,成本会迅速增加。使用通过最小化成本所选择的 w 和 b 可以得到一条与数据完全拟合的直线。
②3D可视化:
请注意左图中的虚线。这些虚线表示训练集中每个示例所占的成本比例。在这种情况下,约为𝑤=209和𝑏=2.4的值提供了较低的成本。请注意,由于我们的训练示例不在一条直线上,因此最低成本并不为零。
成本函数对损失进行平方处理这一事实确保了 "误差面 "像汤碗一样是凸的。它总是有一个最小值,可以通过在所有维度上的梯度达到。在上一幅图中,由于𝑤和𝑏维度的比例不同,这一点不容易识别。下图中𝑤和𝑏是对称的: