Descent Method for 最小化（最优化）问题 （二）

---

4 Nonlinear conjugate gradient （非线性共轭梯度下降法）

先从（线性）CG 算法说起：

以下摘自：数值优化（Numerical Optimization）学习系列-共轭梯度方法（Conjugate Gradient）

4.0 问题形式

（线性）CG算法求解问题的两种形式：
1. 线性方程 $\mathbf{Ax} = \mathbf{b}$ 并且要求矩阵 $\mathbf{A}$ 是对称正定矩阵。
2. 最优化问题：

$$\min \limits_{\mathbf{x}} \phi(\mathbf{x}) = \frac{1}{2} \mathbf{x}^T \mathbf{A} \mathbf{x} - \mathbf{b}^T\mathbf{x}$$
要求矩阵 $\mathbf{A}$ 对称正定，这样该问题是一个凸问题并且有最优解。根据最优解满足 $\nabla \phi(\mathbf{x}) = \mathbf{Ax} -\mathbf{b} = \mathbf{0}$，一般记为 $\mathbf{r}(\mathbf{x})$ 。在迭代过程中，第 $K$ 步的残差表示为 $\mathbf{r}_k = \mathbf{Ax}_k - \mathbf{b}$ 。

（注：向量积对列向量 $X$ 求导运算法则：
$d(UV^T)/dX = (dU/dX)V^T + U(dV^T/dX)$
$d(U^TV)/dX = (dU^T/dX)V + (dV^T/dX)U$
则有：
$d(X^TA)/dX = (dX^T/dX)A + (dA/dX)X^T = IA + 0X^T = A$
$d(AX)/dX^T = (d(X^TA^T)/dX)^T = (A^T)^T = A$
$d(X^TAX)/dX = (dX^T/dX)AX + (d(AX)^T/dX)X = AX + A^TX$

共轭性

给定一个非零向量集合 $\{ p_0, p_1, \cdots, p_{n-1} \}$ 和一个对称正定矩阵 $\mathbf{A}$ ，如果向量集合相对于 $\mathbf{A}$ 是共轭的，当且仅当 $p_i^TAp_j = 0, i \neq j$

如果向量集合是共轭的，则他们之间是相互线性独立的。

4.1 共轭方向算法

共轭方向算法 (Conjugate direction method) 不同于共轭梯度算法，共轭向量提前给出。共轭梯度算法则给出了共轭向量（方向）的计算方法。

（即假定共轭方向已知的情况下，如何计算最优化问题）

算法描述：
1. 给定共轭方向集合 $\{ p_0, p_1, \cdots, p_{n-1} \}$ 和任意初始点 $x_0$。
2. 计算 $x_{k+1} = x_k + \alpha_kp_k$
3. 计算最优步长 $\alpha$ ：此时假定 $x_k$ 为已知量（定值），通过优化 $\p$