代价函数
首先回顾一下我们之前提到的训练集,及线性回归假设:
其中
θ
0
,
θ
1
\theta_0,\theta_1
θ0,θ1 是我们要选择的参数。
我们希望我们的模型,或者说我们拟合的曲线,能够接近训练集的真实状况,即我们的预测值和真实至之间的差距要越小越好。
也就是说要选择合适的
θ
0
,
θ
1
\theta_0,\theta_1
θ0,θ1,最小化
h
θ
(
x
(
i
)
−
y
(
i
)
)
2
h_\theta(x^{(i)}-y^{(i)})^2
hθ(x(i)−y(i))2
这里使用的是平方损失,因为对于线性回归问题来说这是最常见的选择,更深层次的原因是因为i,广义线性模型使用的也是平方损失,而线性回归仅仅是广义线性模型的一个例子。