梯度下降法用到一阶导，即目标函数变化最快的方向，牛顿法同时用到二阶导，计算梯度变化最快的方向，收敛速度更快。
梯度下降法
迭代公式为：
θ
j
:
=
θ
j
−
α
∂
∂
θ
j
J
(
θ
j
)
\theta_j :=\theta_j -\alpha \frac{\partial }{\partial \theta_j } J(\theta_j )
θj:=θj−α∂θj∂J(θj)，其中
α
\alpha
α为步长，参数往函数极小值的方向前进。
牛顿法
作者: peghoty
出处: http://blog.csdn.net/itplus/article/details/21896453
417
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
