1 代价函数
代价函数表示的是真实值与预测值之间的误差。每一个不同的参数有不同的代价函数。下式为平方代价函数:
J
(
θ
0
,
θ
1
)
)
=
1
2
m
∑
1
m
(
H
(
θ
0
−
θ
1
)
)
−
y
)
2
J(\theta _{0},\theta _{1}))=\frac{1}{2m}\sum_{1}^{m}(H(\theta _{0}-\theta _{1}))-y)^{2}
J(θ0,θ1))=2m11∑m(H(θ0−θ1))−y)2
2 梯度下降函数
对参数进行调整,使代价函数最小。
θ
j
:
=
θ
j
−
α
ϑ
J
(
θ
0
,
θ
1
)
ϑ
θ
j
\theta _{j}:=\theta _{j}-\alpha \frac{\vartheta J(\theta _{0},\theta _{1})}{\vartheta \theta _{j}}
θj:=θj−αϑθjϑJ(θ0,θ1)
注
:
(
α
表
示
学
习
率
,
求
导
部
分
是
找
到
使
代
价
函
数
下
降
最
快
的
值
)
注:(\alpha表示学习率,求导部分是找到使代价函数下降最快的值)
注:(α表示学习率,求导部分是找到使代价函数下降最快的值)