梯度下降、牛顿法、高斯牛顿法、LM法之间的区别与联系之感性理解
文章概述对于最小二乘问题,求解方法主要有梯度下降法、牛顿法、高斯牛顿法、LM法,按照这些方法的排序来看,后面一种方法可以说是前面一种方法的改进,每种方法都改进了它前面方法的一些缺点。最速下降法(也叫梯度下降法)--最简单暴力的方法问题:我们能求出每一个x处的导数J(函数下降速度与方向), 怎样求这个函数的最小值?核心思想:沿着函数变小的方向移动,导数J代表了函数的变化趋势,因此...
原创
2019-03-02 20:11:35 ·
5826 阅读 ·
0 评论