最优化学习笔记（十二）——基本共轭方向算法（续）

    目标函数为$n$维二次型函数时，共轭方向法能够在$n$步迭代之后得到极小点。接下来会发现，共轭方向法的中间迭代步骤具有一种很有意义的性质。选定$\boldsymbol{x}^{(0)}$作为迭代初始点， $\boldsymbol{d}^{(0)}$为初始搜索方向， 有：

$$\boldsymbol{x}^{(1)} = \boldsymbol{x}^{(0)} - \biggl( \frac{\boldsymbol{g}^{(0)T}\boldsymbol{d}^{(0)}}{\boldsymbol{d}^{(0)T}Q\boldsymbol{d}^{(0)}}\biggr)\boldsymbol{d}^{(0)}$$
可以证明：
$$\boldsymbol{g}^{(1)T}\boldsymbol{d}^{(0)}=0$$
推导过程：
$$\boldsymbol{g}^{(1)T}\boldsymbol{d}^{(0)} = (Q\boldsymbol{x}^{(1)}-\boldsymbol{b})^T\boldsymbol{d}^{(0)} \\=\boldsymbol{x}^{(0)T}Q\boldsymbol{d}^{(0)} - \biggl( \frac{\boldsymbol{g}^{(0)T}\boldsymbol{d}^{(0)}}{\boldsymbol{d}^{(0)T}Q\boldsymbol{d}^{(0)}}\biggr)\boldsymbol{d}^{(0)T}Q\boldsymbol{d}^{(0)}-\boldsymbol{b}^{T}\boldsymbol{d}^{(0)}\\ =\boldsymbol{g}^{(0)T}\boldsymbol{d}^{(0)}-\boldsymbol{g}^{(0)T}\boldsymbol{d}^{(0)}=0$$
    方程 $\boldsymbol{g}^{(1)T}\boldsymbol{d}^{(0)}=0$表示步长为 $\alpha_0=\arg min \phi_0(\alpha)$,其中， $\phi_0(\alpha)=f(\boldsymbol{x}^{(0)}+\alpha\boldsymbol{d}^{(0)})$.推导过程如下：
由链式法则可得：
$$\frac{d\phi_0}{d\alpha}(\alpha)=\nabla f(\boldsymbol{x}^{(0)}+\alpha\boldsymbol{d}^{(0)})^T\boldsymbol{d}^{(0)}$$
将 $\alpha = \alpha_0$带入得：
$$\frac{d\phi_0}{d\alpha}(\alpha_0) = \boldsymbol{g}^{(1)T}\boldsymbol{d}^{(0)} = 0$$
由于 $\phi_0$是关于 $\alpha$的平方函数，其中 $\alpha^2$的系数为 $\boldsymbol{d}^{(0)T}Q\boldsymbol{d}^{(0)} >0$， 说明 $\phi_0$存在唯一的极小点，因此， $\alpha_0=\arg min \phi_0(\alpha)$。
    以此类推，可以证明，对于所有 $k$，都有：
$$\boldsymbol{g}^{(k+1)T}\boldsymbol{d}^{(k)} = 0$$
即
$$\alpha_0=\arg min f(\boldsymbol{x}^{(k)}+\alpha\boldsymbol{d}^{(k)})$$
实际上，还有更一般的结论，如下引理所示：
* 引理 *在共轭方向算法中， 对于所有的 $k, 0 \le k \le n-1, 0 \le i \le k$ 都有 :
$$\boldsymbol{g}^{(k+1)T}\boldsymbol{d}^{(i)} = 0$$