一。求解目标式子:
二。理解批梯度:
1、求J的梯度:
(梯度是向量,每个坐标是J对其取偏导,所以可以认为梯度向量是J对向量
求偏导
)
**************************************************************************
更正:这个梯度表达式可知,最终梯度下降表达式里面的求m个和是梯度计算中产生的而不是‘迈步子’产生的
**************************************************************************
2、回顾批梯度整体思想:
3、这里注意:
所以一些资料写的批梯度下降的表达式:
二。随机梯度:
可见批梯度每计算一个梯度都需要计算m个量求和,当m很大,这个复杂度过高
再观察梯度表达式:
所以:
两个特征:
(1)可能在某一步之后往回走
(2)无法收敛到极值点但是总是在‘极值周围徘徊’