目录
1 拟牛顿法原理
[1]牛顿法(Xgboost):在每一次迭代中,以牛顿方向为搜索方向进行更新。牛顿法对目标的可导性更严格,要求二阶可导,有Hesse矩阵求逆的计算复杂的缺点
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/1bed6f81e26320988cc8316dcb8af841.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/957aacfc01d5a6e191c450e75acf496c.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/411e3e8a7edaeff9faf0116f499d998b.png)
感悟:本质就是用了二阶泰勒
[2]阻尼牛顿法:
- 牛顿方向可能是下降方向,也可能是上升方向,以至于当初始点远离极小点时,牛顿法有可能不收敛
- 阻尼牛顿法,在牛顿法的基础上,每次迭代除了计算更新方向(牛顿方向),还要对最优步长做一维搜索
[3]拟牛顿法:用不含二阶导数的矩阵 Ut 替代牛顿法中的 H−1t,然后沿搜索方向 −Utgt 做一维搜索。根据不同的 Ut 构造方法有不同的拟牛顿法。(不用求逆