最优化理论之牛顿法

1、泰勒展开式

泰勒展开式是用多项式来近似表示函数在某点周围的情况。

对于一个函数在x=a处的展开式，这个展开式在x=a附近对函数的逼近是最精确的，离a越远，这个公式就越不精确。实际函数值和多项式的偏差称为泰勒公式的余项。

2、方向导数和偏导数

方向导数（directional derivative）的通俗解释是：我们不仅要知道函数在坐标轴方向上的变化率（即偏导数），而且还要设法求得函数在其他特定方向上的变化率。而方向导数就是函数在其他特定方向上的变化率。

对于二维函数，任意方向的导数可以如下定义：

对于高维函数，我们可以同理推得，我们可以通过求得目标方向与各个方向之间的夹角，然后通过各维上的偏导数组合得到方向导数。

3、函数梯度：

对于一个多维函数，梯度是它的各界偏导数的值组成的向量。

函数{\displaystyle \varphi =2x+3y^{2}-\sin(z)}的梯度为：

{\displaystyle \nabla \varphi ={\begin{pmatrix}{\frac {\partial \varphi }{\partial x}},{\frac {\partial \varphi }{\partial y}},{\frac {\partial \varphi }{\partial z}}\end{pmatrix}}={\begin{pmatrix}{2},{6y},{-\cos(z)}\end{pmatrix}}}

。

4、海森矩阵:一个多变量实值函数的二阶偏导数组成的方块矩阵

5、牛顿法步骤: