梯度下降法优化

梯度下降法优化

定义一个损失函数J(θ0, θ1)，用梯度下降法最小化J(θ0, θ1)的值
这是梯度下降法的算法定义θj := θj − α * (d / dθj) * J(θ0, θ1)
其中:=表示赋值，α是学习率代表梯度下降法计算时迈出多大的步子(d / dθj) * J(θ0, θ1)这是一个导数项d代表求导公式里面的那个符号。
在计算时需要同时更新θ0和θ1，算法表示为：

temp0 := θ0 − α * (d / dθ0) * J(θ0, θ1) 
temp1 := θ1 − α * (d / dθ1) * J(θ0, θ1) 
θ0 := temp0 
θ1 := temp1

循环往复直至θ0与θ1不再发生变化，于是并找出了局部最优解让损失达到最小
画图的方式理解（以单参数θ0的梯度下降为例）

箭头所指的地方并是(θ0,J(θ0))，切线则是那里的导数值(d / dθ0) * J(θ0)为正，根据公式θ0 = θ0 − α * (d / dθ0) * J(θ0)其中α 为正数，计算得到的θ0在减小，经过反复的训练最终会逼近图中最低点

同样，切线则是那里的导数值(d / dθ0) * J(θ0)为负，根据公式θ0 = θ0 − α * (d / dθ0) * J(θ0)其中α 为正数，计算得到的θ0在增大，经过反复的训练最终会逼近图中最低点
当在最低点时导数值(d / dθ0) * J(θ0)为0，θ0 = θ0 − α * 0，θ0则不会再变化
由此可见，公式中导数值的意义在于决定θ0向什么方向走，α决定走的步长，但梯度下降法只能达到局部的最优点就像图中的一样只能向最近的最低点移动。