吴恩达机器学习Day-5(自用版)

3.5Visualizing the cost function可视化代价函数

一、回顾:

Model:f(x)=wx+b

Parameters:w,b

Cost Function:J(w,b)=\boldsymbol{\mathbf{\textbf{}}\frac{1}{2m}\sum_{1}^{m}\left ( \hat{y}^{(i)}-y^{(i)}\right )^{2}}

Objective目的:minimizeJ(w,b)

二、研究J和w,b的关系

形成了类似汤碗的三维形状,当改变w,b的值时,会得到成本函数的不同值。

J越小,预测效果越好

三、习题补充:

四、代码部分:

①平面可视化

您的目标是找到一个模型 𝑓(𝑥)=𝑤𝑥+𝑏,参数为 𝑤,𝑏,该模型可以在输入 𝑥 的情况下准确预测房屋价值。成本是衡量模型在训练数据上准确程度的指标。上述成本方程 (1) 表明,如果𝑤 和 𝑏𝑏可以选择,从而使预测结果 𝑓(x)与目标数据 𝑦 匹配, (𝑓_{w,b}(𝑥^{^{i}})−𝑦(^{^{i}}))^{2}项将为零,成本最小。在这个简单的两点示例中,您就可以做到这一点!在上一个实验中,您确定了 𝑏=100𝑏=100 提供了一个最优解,因此让我们将 𝑏𝑏 设为 100,并关注 𝑤𝑤。

图中有几点值得一提。

当𝑤=200,成本函数最小,这与上一个实验室的结果一致。因为在成本方程中,目标和 pediction 之间的差值是平方,所以当𝑤𝑤过大或过小时,成本会迅速增加。使用通过最小化成本所选择的 w 和 b 可以得到一条与数据完全拟合的直线。

②3D可视化:

请注意左图中的虚线。这些虚线表示训练集中每个示例所占的成本比例。在这种情况下,约为𝑤=209和𝑏=2.4的值提供了较低的成本。请注意,由于我们的训练示例不在一条直线上,因此最低成本并不为零。

成本函数对损失进行平方处理这一事实确保了 "误差面 "像汤碗一样是凸的。它总是有一个最小值,可以通过在所有维度上的梯度达到。在上一幅图中,由于𝑤和𝑏维度的比例不同,这一点不容易识别。下图中𝑤和𝑏是对称的:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值