优化算法总结

背景

对一个多元函数 $f(x)$ 求最小值，当无法准确求出其准确结果时，需要用到其导数。

根据泰勒公式，$f(x)$ 在 $x_k$ 处展开二阶导：
$$f(x)\approx f(x_k)+{\nabla }_x{f}^{\prime }(x_k)(x-x_k{)}^T+\frac{1}{2}(x-x_k{)}^T{\nabla }_x^2{f}^{\prime \prime }(x_k)(x-x_k)$$
其中，一阶导梯度和二阶导 $Hessian$ 矩阵如下：
g k = f ′ ( x k ) = ( ∂ f ( x k ) ∂ x 1 , ∂ f ( x k ) ∂ x 2 , … , ∂ f ( x k ) ∂ x n ) H k − 1 = f ′ ′ ( x k ) − 1 = ( ∂ 2 f ( x k ) ∂ 2 x 1 2 ⋯ ∂ 2 f ( x k ) ∂ x 1 ∂ x n ⋮ ∂ 2 f ( x k ) ∂ x i ∂ x j ⋮ ∂ 2 f ( x k ) ∂ x n ∂ x 1 ⋯ ∂