分别对上述的MSE表达式(乘以1/2后)中的k,b求偏导,
∂
1
2
M
S
E
∂
b
=
∑
i
=
1
m
(
k
x
i
b
−
y
i
)
m
\frac{∂ \frac{1}{2}MSE}{∂b}=\sum_{i=1}^m\frac{(kx_i+b-y_i)}{m}
∂b∂21MSE=∑i=1mm(kxi+b−yi)
∂
1
2
M
S
E
∂
k
=
∑
i
=
1
m
(
k
x
i
b
−
y
i
)
x
i
m
\frac{∂ \frac{1}{2}MSE}{∂k}=\sum_{i=1}^m\frac{(kx_i+b-y_i)x_i}{m}
∂k∂21MSE=∑i=1mm(kxi+b−yi)xi
更新b和k时,使用原来的b,k值分别减去关于b、k的偏导数与学习率的乘积即可。至于为什么使用减号,可以这么理解:以斜率k为例,当其导数大于零的时候ÿ