牛顿法和拟牛顿法

一。两种方法本质：

和梯度下降法的本质一样都是为了找到一个合适的最快的下降方向，然后以一定步长一步一步走到极值点

二。牛顿法：

1、传统牛顿法（数学中）

2、传统牛顿法在机器学习的推广：

机器学习中需要做的是，参考‘回归分析’

注意，上面需要重复若干次直到两次的参数相差不大

3、传统牛顿法的问题：

*************