代价函数1
视频链接:https://www.bilibili.com/video/BV164411b7dx?p=7
首先回顾一下,我们的线性模型
其次是我们的模型参数
θ
0
,
θ
1
\theta_0,\theta_1
θ0,θ1
然后是我们的损失函数
我们的优化目标是,选择合适的模型参数
θ
0
,
θ
1
\theta_0,\theta_1
θ0,θ1使得我们的代价函数达到最小。
我们现在将问题简化一下,假设我们现在只有参数 θ 1 \theta_1 θ1 也就是说我们的 θ 0 = 0 \theta_0=0 θ0=0,那么我们的模型,参数,代价函数和优化目标就变成了下图右侧的样子了。
这里需要注意的是当给定参数 θ \theta θ时, h θ ( x ) h_\theta(x) hθ(x) 是 x 的函数,也就是说函数值会随着 x 的变化而变化, J ( θ 1 ) J(\theta_1) J(θ1)是参数 θ 1 \theta_1 θ1的函数,函数值会随着 θ 1 \theta_1 θ1的变化而变化。
在上图中我们的训练样本是(1,1),(2,2),(3,3),从图中我们可以看到,当
θ
1
=
1
\theta_1=1
θ1=1时,我们的模型也就是我们的拟合直线,恰好穿过这三个点,因此根据代价函数的定义,我们可以算出其代价函数的值为0。
当我们的 θ 1 = 0.5 \theta_1=0.5 θ1=0.5时相应的代价函数的值也变成了0.58。
我们可以看到,选择不同的
θ
1
\theta_1
θ1会得到不同的代价函数值,如果我们使用描点法,将代价函数
J
(
θ
1
)
J(\theta_1)
J(θ1)画出来,那么我们将会得到,下图右边的类似二次函数曲线一样的曲线。