拟牛顿法 目录 1 拟牛顿法原理 2 代码实现 参考文献和网址 目录 1 拟牛顿法原理 [1]牛顿法(Xgboost):在每一次迭代中,以牛顿方向为搜索方向进行更新。牛顿法对目标的可导性更严格,要求二阶可导,有Hesse矩阵求逆的计算复杂的缺点 感悟:本质就是用了二阶泰勒 [2]阻尼牛顿法: 牛顿方向可能是下降方向,也可能是上升方向,以至于当初始点远离极小点时,牛顿法有可能不收敛 阻尼牛顿法,在牛顿法的基础上,每次迭代除了计算更新方向(牛顿方向),还要对最优步长做一维搜索 [3]拟牛顿法:用不含二阶导数的