1,随机初始化
θ
;
2,沿着负梯度方向迭代,更新后的
θ
使得目标函数更小;
θ=θ−α∂J(θ)∂θ
其中
α
是学习率或步长;
J(θ)=12∑mi=1(hθx(i)−y)2
===>
θj:=θj+α∑mi=1(y(j)−hθx(i))x(i)j
—–批量梯度下降(BGD Batch Gradient Descent)
θj:=θj+α(y(j)−hθx(i))x(i)j
——随机梯度下降(SGD stochastic Gradient Descent)
SGD总体在下降,某一次可能不是;
折中:mini-batch Gradient Descent
greedy algorithm