机器学习中梯度下降法和牛顿法的比较

梯度下降法用到一阶导,即目标函数变化最快的方向,牛顿法同时用到二阶导,计算梯度变化最快的方向,收敛速度更快。

梯度下降法

迭代公式为:θj:=θjαθjJ(θj)\theta_j :=\theta_j -\alpha \frac{\partial }{\partial \theta_j } J(\theta_j ),其中α\alpha为步长,参数往函数极小值的方向前进。
在这里插入图片描述

牛顿法

在这里插入图片描述
在这里插入图片描述在这里插入图片描述
作者: peghoty

出处: http://blog.csdn.net/itplus/article/details/21896453

发布了20 篇原创文章 · 获赞 1 · 访问量 622
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览