最优化算法之一维牛顿法与割线法

一、一维牛顿法
一元目标函数

多元目标函数

一元-多元的映射关系

1从标量映射到向量到矩阵
一维：

算法流程：

多元函数的泰勒展开
求q(x)下降的最小值的一阶必要条件，表示梯度的每个分量都为0

两边同乘Hession矩阵的逆，可得：
牛顿法特点：
1、计算量较大，需要求一阶导数、二阶导数
2、步长趋势变化不稳定，如果二阶导数很小的话，步长会很大。
3、搜索过程并不总是趋近于极小点，也有可能收敛到极大点，与目标相反。