python机器学习 一元线性回归 梯度下降法的实现 【Python机器学习系列（四）】_一元线性回归python梯度下降法

分别对上述的MSE表达式（乘以1/2后）中的k,b求偏导，

∂

1

2

M

S

E

∂

b

=

∑

i

=

1

m

(

k

x

i

b

−

y

i

)

m

\frac{∂ \frac{1}{2}MSE}{∂b}=\sum_{i=1}^m\frac{(kx_i+b-y_i)}{m}

∂b∂21​MSE​=∑i=1m​m(kxi​+b−yi​)​

∂

1

2

M

S

E

∂

k

=

∑

i

=

1

m

(

k

x

i

b

−

y

i

)

x

i

m

\frac{∂ \frac{1}{2}MSE}{∂k}=\sum_{i=1}^m\frac{(kx_i+b-y_i)x_i}{m}

∂k∂21​MSE​=∑i=1m​m(kxi​+b−yi​)xi​​

更新b和k时，使用原来的b,k值分别减去关于b、k的偏导数与学习率的乘积即可。至于为什么使用减号，可以这么理解：以斜率k为例，当其导数大于零的时候ÿ