该文介绍了吴恩达的机器学习课程中关于如何计算损失函数的实例。通过调整模型参数w和b，探讨了如何最小化代价函数J(w,b)，并解释了将b纳入w中以简化计算的方法。文章通过不同w值展示J(w)的变化，强调了选择合适w以达到最小J(w)的重要性。
2022吴恩达机器学习（Deep learning）课程对应笔记8
损失函数计算实例
更新时间：2023/03/19
接下来，要举一个例子来讲怎么计算代价函数
计算代价函数的实例
首先我们要明确目标，是要找到参数
w
和
b
w和b
w和b是的模型的cost function尽量的小，在数学中我们可以写做：
m
i
n
i
m
i
z
e
w
,
b
J
(
w
,
b
)
minimize_{w,b} J(w,b)
minimizew,bJ(w,b)，现在为了简化计算，我们把参数
b
b
b纳入到w中(为了计算平方差方便)，其实就是把原来的输入特征加一维，即
x
=
[
x
1
,
x
2
,
.
.
.
,
x
n
]
→
x=[x_1,x_2,...,x_n]\rightarrow
x=[x1,x2,...,xn]→
x
=
[
x
1
,
x
2
,
.
.
.
,
x
n
,
1
]
x=[x_1,x_2,...,x_n,1]
x=[x1,x2,...,xn,1]。
如下图左，当
w
=
1
w=1
w=1时，每一个训练数据都能够准确的落到预测函数的线上，那么cost function就会如下图右，始终为0。
- 当
w
=
1
w=1
w=1时，
J
(
w
)
=
0
J(w)=0
J(w)=0
如下图左，当 w = 0.5 w=0.5 w=0.5时，训练数据没有能够准确的落到预测函数的线上， - 当 w = 0.5 w=0.5 w=0.5时， J ( w ) = 7 12 J(w)=\frac{7}{12} J(w)=127
如下图左，当
w
=
0
w=0
w=0时，训练数据没有能够准确的落到预测函数的线上，
- 当 w = 0 w=0 w=0时， J ( w ) = 7 3 J(w)=\frac{7}{3} J(w)=37
- 然后继续改变 w w w的值，对应的 J ( w ) J(w) J(w)也在一直变化， J ( w ) J(w) J(w)的变化变化曲线如下图右，再次回忆我们的目标，是要让 J ( w ) J(w) J(w) 尽量的小，每一个 w w w值可以唯一确定一个对应的 J ( w ) J(w) J(w)值，在这种情况下，应该怎么样选择 w w w值来使得到的 J ( w ) J(w) J(w)值尽可能的小呢？
因此我们会选择
w
w
w来解决问题，找到最小的
J
J
J
扫一扫
11万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
