Descent Method for 最小化（最优化）问题 （一）

Descent Method - Gradient Method / Newton’s Method / Quasi-Newton methods / CG / et al.

0 Minimization Problem

通常，线性系统 $\mathbf{Ax} - \mathbf{b} = \mathbf{0}$ ，其中 $\mathbf{x}$ 为 $n \times 1$ 的列向量， $\mathbf{x} = ( x_1, x_2, \cdots, x_n)$ 。通过线性最小二乘法（Linear Least Squares ）构建为最小化问题：$f(\mathbf{x}) = || \mathbf{Ax} - \mathbf{b} ||^2$。
对于非线性系统 $G(\mathbf{x}) = 0$，亦可以构建最小化问题： $f(\mathbf{x}) = \frac{1}{2}G^T(\mathbf{x})G(\mathbf{x})$。

最小化问题（Minimization Problem ）可以通过下降方法 ( Descent Method ) 求解，如 Gradient Descent, Newton’s Method, Quasi-Newton Method, Nonlinear Conjugate Gradient Method, etc.

对于 $\mathbf{x}$ 的函数 $f(\mathbf{x})$ ，其梯度，$Hessian$ 矩阵分别为：

$$\nabla f(\mathbf{x}) = \begin{bmatrix} \frac{\partial f}{\partial x_1} \\ \frac{\partial f}{\partial x_2} \\ \vdots \\ \frac{\partial f}{\partial x_n} \\ \end{bmatrix}$$

∇2f(x)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f∂2x1∂2f∂x2∂x1⋮∂2f∂xn∂x1∂2f∂x1∂x2∂2f∂2x2⋮∂2f∂xn∂x2⋯⋯⋱⋯∂2f∂x1∂xn∂2f∂x2∂xn