最优化学习笔记（十三）——基本共轭方向算法（扩张子空间定理）

    由上节我们得出的一个引理：
引理 在共轭方向算法中， 对于所有的$k,0≤k≤n−1,0≤i≤k$都有 :

$$\boldsymbol{g}^{(k+1)T}\boldsymbol{d}^{(i)}=0$$
由上可知： $\boldsymbol{g}^{(k+1)}$正交于由向量 $\boldsymbol{d}^{(0)},\boldsymbol{d}^{(1)},\dots,\boldsymbol{d}^{(k)}$张成的子空间中的任意向量。该引理可用于证明共轭方向法的一个很有意思的最优性性质。可以证明 $f(\boldsymbol{x}^{(k+1)})$不仅能够满足 $f(\boldsymbol{x}^{(k+1)}) = \min_{\alpha}f(\boldsymbol{x}^{(k)}+\alpha \boldsymbol{d}^{(k)})$,而且还能满足
$$f(\boldsymbol{x}^{(k+1)}) = \min_{\alpha_0,\alpha_1,\dots,\alpha_k}f(\boldsymbol{x}^{(0)}+\sum_{i=0}^k\alpha_i \boldsymbol{d}^{(i)})$$

换言之，如果记：

$$\nu_k=\boldsymbol{x}^{(0)} + span[\boldsymbol{d}^{(0)},\boldsymbol{d}^{(1)}, \dots, \boldsymbol{d}^{(k)}]$$
则有 $f(\boldsymbol{x}^{(k+1)}) = \min_{x \in \nu_k} f(\boldsymbol{x})$.随着 $k$的增大，子空间$span[\boldsymbol{d}^{(0)},\boldsymbol{d}^{(1)}, \dots, \boldsymbol{d}^{(k)}]$不断扩张，直至充满整个 $\mathbb{R}^n$(前提是它们是线性无关的)。因此,当 $k$足够大时，$\boldsymbol{x}^{*}$将位于 $\nu_k$中。基于此，以上结论有时也称为扩张子空间定理。

    定义矩阵$\boldsymbol{D}^{(k)}$为：

$$\boldsymbol{D}^{(k)} = [\boldsymbol{d}^{(0)},\boldsymbol{d}^{(1)}, \dots, \boldsymbol{d}^{(k)}]$$
其中， $\boldsymbol{d}^{(i)}$为矩阵 $\boldsymbol{D}^{(k)}$的第 $i$列。注意， $\boldsymbol{x}^{(0)}+\mathcal{R}(\boldsymbol{D}^{(k)}) = \nu_k$,同时，
$$\boldsymbol{x}^{(k+1)} = \boldsymbol{x}^{(0)}+\sum_{i=0}^k\alpha_i \boldsymbol{d}^{(i)}\\ =\boldsymbol{x}^{(0)}+\boldsymbol{D}^{(k)}\boldsymbol{\alpha}$$
其中， $\boldsymbol{\alpha} = [\alpha_0,\alpha_1, \dots, \alpha_k]^T$. 因此，
$$\boldsymbol{x}^{(k+1)} \in \boldsymbol{x}^{(0)}+\mathcal{R}(\boldsymbol{D}^{(k)}) = \nu_k$$
对于任意向量 $\boldsymbol{x} \in \nu_k$, 存在一个向量 $\boldsymbol{a}$,使得 $\boldsymbol{x} = \boldsymbol{x}^{(0)}+\boldsymbol{D}^{(k)}\boldsymbol{a}$.令 $\phi_k(\boldsymbol{a})=f(\boldsymbol{x}^{(0)}+\boldsymbol{D}^{(k)}\boldsymbol{a})$可知 $\phi_k(\boldsymbol{a})$是一个二次型函数，具有唯一的极小点。由链式法则可得：
$$D\phi_k(\boldsymbol{a})=\nabla f(\boldsymbol{x}^{(0)}+\boldsymbol{D}^{(k)}\boldsymbol{a})\boldsymbol{D}^{(k)}$$
带入 $\boldsymbol{\alpha}$可得：
$$D\phi_k(\boldsymbol{\alpha})=\nabla f(\boldsymbol{x}^{(0)}+\boldsymbol{D}^{(k)}\boldsymbol{\alpha})^T\boldsymbol{D}^{(k)}\\ =\nabla f(\boldsymbol{x}^{(k+1)})^T\boldsymbol{D}^{(k)}\\ =\boldsymbol{g}^{(k+1)T}\boldsymbol{D}^{(k)}$$
由定理可知， $\boldsymbol{g}^{(k+1)T}\boldsymbol{D}^{(k)} = \boldsymbol{0}^{T}$. 因此， $\boldsymbol{\alpha}$能够满足函数 $\phi_k$的局部极小点的一阶必要条件，是 $\phi_k$的极小点，即：
$$f(\boldsymbol{x}^{(k+1)}) = \min_a f(\boldsymbol{x}^{(0)}+\boldsymbol{D}^{(k)}\boldsymbol{a})= \min_{\boldsymbol{x} \in \nu_k} f(\boldsymbol{x})$$
扩张子空间定理证明完成。
    共轭方向法的计算效率很高，但是，前提是必须能够给定一组 $\boldsymbol{Q}$共轭方向。幸运的是，存在一种方法，能够随着迭代进行， 逐一产生 $\boldsymbol{Q}$共轭方向,无需提前指定。