从梯度下降法、牛顿法到拟牛顿法,浅谈它们的联系与区别
考虑一个求多元函数f(x)\mathbb{f}(\pmb{x})f(xxx)求最小值的问题,当我们无法求出精确结果时,需要使用一些算法求出它的数值解,本文主要探讨基于梯度的优化算法中比较常见的三种算法:梯度下降法、牛顿法和拟牛顿法。
1.梯度下降法
在说梯度下降法之前,概念首先说说梯度的概念:梯度是相对一个向量求导的导数,它的定义为▽xf(x)=(∂f∂x1,⋯ ,∂f...
原创
2019-01-15 13:40:55 ·
2555 阅读 ·
0 评论