1.推导
牛顿法和拟牛顿法是求解无约束最优化问题的常用方法,它们比梯度下降收敛更快。考虑同样的一个无约束最优化问题:
其中f(x)具有二阶连续偏导数的性质,如果k次迭代值为,则可进行二阶泰勒展开:
上述公式里面的值不解释了,就是一阶导和二阶导(也称海塞矩阵在
牛顿法和拟牛顿法是求解无约束最优化问题的常用方法,它们比梯度下降收敛更快。考虑同样的一个无约束最优化问题:
其中f(x)具有二阶连续偏导数的性质,如果k次迭代值为,则可进行二阶泰勒展开:
上述公式里面的值不解释了,就是一阶导和二阶导(也称海塞矩阵在