漫谈：Chebyshev多项式，Krylov子空间，Chebyshev迭代，共轭梯度方法

Chebyshev迭代和共轭梯度方法的收敛速度（后者或称误差分析）都与Chebyshev多项式有着紧密联系，因此做一些整理，以期把其中的逻辑理清，推导理顺。只覆盖关键要点，不求面面俱到。

Chebyshev 多项式

标准Chebyshev多项式

与权函数$\rho (y)=\frac{1}{\sqrt{1-y^2}}$对应的正交多项式为Chebyshev多项式。标准的Chebyshev多项式分两段定义：
$$T_n(y)=\{\begin{array}{rlr}& \mathrm{c}\mathrm{o}\mathrm{s}(n\arccos (y))& ,y\in [-1,1]\\ & \frac{1}{2}\left[{\left(y+\sqrt{y^2-1}\right)}^n+{\left(y-\sqrt{y^2-1}\right)}^n\right]& ,y\in \mathbf{R}\setminus [-1,1]\end{array}$$

概述一些基本性质。$n$次的Chebyshev多项式在开区间$(-1,1)$内有$n$个零点，在$[-1,1]$内有$n+1$个符号交错的极值点（$-1$和$+1$交替）。Chebyshev多项式不是奇函数就是偶函数，且随$n$交替变化。

对于任意位置区间$[a,b]$的Chebyshev多项式，都可以通过平移和缩放来化为标准区间$[-1,1]$上的标准Chebyshev多项式。对于$x\in [a,b]$，做变换$y=\frac{x-\frac{1}{2}(b+a)}{\frac{1}{2}(b-a)}$，即有$y\in [-1,1]$：
$$\widetilde{T_n}(x)=T_n\left(y=\frac{x-\frac{1}{2}(b+a)}{\frac{1}{2}(b-a)}\right)$$
相应地，权函数也做变换：
$$\tilde{\rho }(x)=\rho \left(y=\frac{x-\frac{1}{2}(b+a)}{\frac{1}{2}(b-a)}\right)=\frac{1}{\sqrt{1-{\left(\frac{x-\frac{1}{2}(b+a)}{\frac{1}{2}(b-a)}\right)}^2}}$$

三项递推关系

记$\theta =\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{c}\mathrm{o}\mathrm{s}y$，利用和差化积公式有
$$\cos ((n+1)\theta )+\cos ((n-1)\theta )=2\cos (n\theta )\cos (\theta )$$
故有
$$T_{n+1}(y)=2y{T}_n(y)-T_{n-1}(y)$$

逼近性质

对之前提到的定义在$x\in [a,b]$上的Chebyshev多项式，按照区间外一点$c\notin [a,b]$来做归一化：
$$\widehat{T_n}(x)=\frac{\widetilde{T_n}(x)}{\widetilde{T_n}(c)}$$
显然有 T n ^ ( x ) ∈ Φ n , c = { f ∈ P   ∣   f ( c ) = 1 } \widehat{T_n}(x)\in\Phi_{n,c}=\{f\in\mathbf{P}\space|\space f(c)=1 \} Tn​ ​(x)∈Φn,c​={f∈P ∣ f(c)=1}。后者表示所有在$c$这一点值为1的$n$次多项式的集合。Chebyshev多项式具有如下的逼近性质。
$$||\widehat{T_n}(x)|{|}_{C[a,b]}=\underset{f\in {\Phi }_{n,c}}{\inf }||f|{|}_{C[a,b]}$$
即所有在$c$这一点值为1的多项式里，Chebyshev多项式是取到最小范数的那一个。由有限维空间内范数的等价性，从无穷范数入手证明。

首先说明$\widehat{T_n}(x)$是well-defined的。因为$T_n(y)$的零点都在开区间$(-1,1)$内，因此平移和缩放后$\widetilde{T_n}(x)$的零点都在$[a,b]$内，$\widetilde{T_n}(c)\ne 0$。

反证法。假设$Y_n\in {\Phi }_{n,c}$，且满足$||Y_n|{|}_{C[a,b]}<||\widehat{T_n}|{|}_{C[a,b]}$。则对于$z_n(x)=\widehat{T_n}(x)-Y_n(x)$，它有一个零点是$c$。

对于标准Chebyshev多项式$T_{n}y$，在$[-1,1]$上的（交错）极值点为$\cos (\frac{k\pi }{n}),k=0,1,...,n$。所以$\widetilde{T_n}(x)$在$[a,b]$上的（交错）极值点为$x_k=\frac{b+a}{2}+\frac{b-a}{2}\cos (\frac{k\pi }{n}),k=0,1,...,n$。因为$||Y_n(x)|{|}_{C[a,b]}<||\widehat{T_n}(x)|{|}_{C[a,b]}$，那么自然有
$$|Y_n(x_k)|\le ||Y_n(x)|{|}_{C[a,b]}<||\widehat{T_n}(x)|{|}_{C[a,b]}=|\widehat{T_n}(x_k)|,k=0,1,...,n$$
所以$\widehat{T_n}(x_k)$与$\widehat{T_n}(x_k)-Y_n(x_k)$同号！而 { x k } \{x_k\} {xk​}是$\widehat{T_n}(x)$的一组符号交错点，那么也是$\widehat{T_n}(x)-Y_n(x)$的一组符号交错点。所以在开区间$(x_k,x_{k+1})$中必至少有$z_n(x)$的一个零点，则$(a,b)$内至少有$z_n(x)$的$n$个不同零点。

加上前述的$c\notin [a,b]$也是$z_n(x)$的一个零点，故它至少有$n+1$个零点，这与它是$n$次多项式矛盾。证毕。

再来估计$||\widehat{T_n}(x)|{|}_{C[a,b]}=\underset{f\in {\Phi }_{n,c}}{\inf }||f|{|}_{C[a,b]}$的大小。
$$||\widehat{T_n}(x)|{|}_{C[a,b]}={\left|\left|\frac{\widetilde{T_n}(x)}{\widetilde{T_n}(c)}\right|\right|}_{C[a,b]}=\frac{||\widetilde{T_n}(x)|{|}_{C[a,b]}}{|\widetilde{T_n}(c)|}=\frac{1}{|\widetilde{T_n}(c)|}$$
而
$$\widetilde{T_n}(c)=T_n\left(\frac{c-\frac{b+a}{2}}{\frac{b-a}{2}}\right)=T_n\left(\frac{-\frac{(b-c)+(a-c)}{2}}{\frac{(b-c)-(a-c)}{2}}\right)=(-1{)}^n{T}_n\left(\frac{(b-c)+(a-c)}{(b-c)-(a-c)}\right)$$
所以
$$|\widetilde{T_n}(c)|=T_n\left(\left|\frac{(b-c)+(a-c)}{(b-c)-(a-c)}\right|\right)=T_n\left(\frac{\lambda +1}{\lambda -1}\right)$$
其中$\lambda =\max (\frac{|a-c|}{|b-c|},\frac{|b-c|}{|a-c|})>1$。所以根据标准Chebyshev多项式在$[-1,1]$区间外的表达式，有
$$T_n\left(\frac{\lambda +1}{\lambda -1}\right)\ge \frac{1}{2}{\left[\frac{\lambda +1}{\lambda -1}+\sqrt{{\left(\frac{\lambda +1}{\lambda -1}\right)}^2-1}\right]}^n=\frac{1}{2}{\left(\frac{\sqrt{\lambda }+1}{\sqrt{\lambda }-1}\right)}^n$$
所以最后得到的估计是
$$||\widehat{T_n}(x)|{|}_{C[a,b]}=\frac{1}{|\widetilde{T_n}(c)|}=\frac{1}{T_n\left(\frac{\lambda +1}{\lambda -1}\right)}\le 2{\left(\frac{\sqrt{\lambda }-1}{\sqrt{\lambda }+1}\right)}^n$$
并且这个估计是较紧凑的。将会在Chebyshev迭代和共轭梯度的收敛速度分析中用到这个结论。

Chebyshev迭代

Chebyshev迭代是线性非定常迭代，其迭代使用的矩阵/系数在每个迭代步都会发生变化。而任意的单步线性定常迭代都可以表述为最简单的Richardson迭代+预处理的组合。因此从Richardson迭代出发，引入Krylov子空间的概念，然后加以适当改造得到Chebyshev迭代。

Richardson迭代和Krylov子空间

Richardson迭代是最简单的迭代格式，它在每一步都加上一个修正量，此修正量就简单地取为当前迭代结果的残差：
$${\mathbf{x}}^{(i+1)}={\mathbf{x}}^{(i)}+{\mathbf{r}}^{(i)}={\mathbf{x}}^{(i)}+\mathbf{b}-\mathbf{A}{\mathbf{x}}^{(i)}=(\mathbf{I}-\mathbf{A}){\mathbf{x}}^{(i)}+\mathbf{b}$$
$${\mathbf{r}}^{(i+1)}=\mathbf{b}-\mathbf{A}{\mathbf{x}}^{(i+1)}=\mathbf{b}-\mathbf{A}{\mathbf{x}}^{(i)}-\mathbf{A}{\mathbf{r}}^{(i)}=(\mathbf{I}-\mathbf{A}){\mathbf{r}}^{(i)}=...=(\mathbf{I}-\mathbf{A}{)}^{i+1}{\mathbf{r}}^{(0)}$$
由残差与误差的关系有${\mathbf{e}}^{(i)}={\mathbf{A}}^{-1}{\mathbf{r}}^{(i)}$，可知相应有${\mathbf{e}}^{(i+1)}=(\mathbf{I}-\mathbf{A}){\mathbf{e}}^{(i)}$。于是在第$m$步得到的迭代结果为
$${\mathbf{x}}^{(m)}={\mathbf{x}}^{(0)}+\sum _{i=0}^{m-1}{\mathbf{r}}^{(i)}={\mathbf{x}}^{(0)}+\sum _{i=0}^{m-1}(\mathbf{I}-\mathbf{A}{)}^i{\mathbf{r}}^{(0)}\in {\mathbf{x}}^{(0)}+{\mathbf{K}}_{\mathbf{m}}({\mathbf{r}}^{(0)})$$
其中${\mathbf{K}}_{\mathbf{m}}({\mathbf{r}}^{(0)})$是由${\mathbf{r}}^{(0)}$生成的Krylov子空间，其中的元素是用$\mathbf{A}$反复作用于${\mathbf{r}}^{(0)}$得到的${\mathbf{r}}^{(0)},{\mathbf{A}\mathbf{r}}^{(0)},{{\mathbf{A}}^2\mathbf{r}}^{(0)},...$等的线性组合。

任何的单步定常迭代格式，比如给定$\mathbf{A}=\mathbf{M}-\mathbf{N}$，其中$\mathbf{M}$为预处理矩阵，则迭代可以写成
$${\mathbf{x}}^{(i+1)}={\mathbf{M}}^{-1}\mathbf{N}{\mathbf{x}}^{(i)}+{\mathbf{M}}^{-1}\mathbf{b}={\mathbf{M}}^{-1}(\mathbf{M}-\mathbf{A}){\mathbf{x}}^{(i)}+{\mathbf{M}}^{-1}\mathbf{b}$$
而对$\mathbf{A}\mathbf{x}=\mathbf{b}$做预处理后得到的${\mathbf{M}}^{-1}\mathbf{A}\mathbf{x}={\mathbf{M}}^{-1}\mathbf{b}$，再进行Richardson迭代，可以得到
$${\mathbf{x}}^{(i+1)}={\mathbf{x}}^{(i)}+{\mathbf{r}}^{(i)}={\mathbf{x}}^{(i)}+{\mathbf{M}}^{-1}\mathbf{b}-{\mathbf{M}}^{-1}\mathbf{A}{\mathbf{x}}^{(i)}$$
可见是等价的，所以任何的单步定常迭代形式都可以写成预处理后的Richardson迭代（即当前迭代值+修正量）的形式。

单步迭代格式

原始的Richardson迭代是最简单地取了$\mathbf{M}=\mathbf{I}$（最好计算，但最不好近似）来做预处理。现在采用非定常，即考虑每步迭代不那么naive，而是选用一个与当前步$i$有关地矩阵${\mathbf{M}}_{\mathbf{i}}$做预处理，假设${\mathbf{M}}_{\mathbf{i}}={\tau }_i\mathbf{M}$由同一个矩阵$\mathbf{M}$生成。同样类似Richardson迭代的好计算的想法，取$\mathbf{M}=\mathbf{I}$，故有${\mathbf{M}}_{\mathbf{i}}={\tau }_i\mathbf{I}$。所以残量的递推关系成为
$${\mathbf{r}}^{(i+1)}=(\mathbf{I}-{\tau }_i\mathbf{A}){\mathbf{r}}^{(i)}=(\mathbf{I}-{\tau }_i\mathbf{A})(\mathbf{I}-{\tau }_{i-1}\mathbf{A})...(\mathbf{I}-{\tau }_0\mathbf{A}){\mathbf{r}}^{(0)}$$
对于误差${\mathbf{e}}^{(i)}$也同样有此关系，所以有
$$\frac{||{\mathbf{e}}^{(i)}||}{||{\mathbf{e}}^{(0)}||}\le ||(\mathbf{I}-{\tau }_{i-1}\mathbf{A})...(\mathbf{I}-{\tau }_0\mathbf{A})||$$
我们希望构造出来的结果（即${\tau }_0,{\tau }_1,...$等的取值）能使残量（误差）收缩得最小，即求解如下的优化问题：
$$\underset{{\tau }_0,...,{\tau }_{i-1}}{\inf }||(\mathbf{I}-{\tau }_{i-1}\mathbf{A})...(\mathbf{I}-{\tau }_0\mathbf{A})||$$
假设$\mathbf{A}$是对称阵（这些强加的适用条件后面汇总来看），那么存在正交阵$\mathbf{P}$（如果$\mathbf{A}$是Hermite矩阵，则$\mathbf{P}$为酉矩阵）使得$\mathbf{A}$能相似对角化，且取2-范数时有$||\mathbf{P}|{|}_2=1$。
$$\mathbf{A}=\mathbf{P}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\lambda }_1,{\lambda }_2,...,{\lambda }_n){\mathbf{P}}^T=\mathbf{P}\mathbf{\Lambda }{\mathbf{P}}^T$$
那么有
$$\begin{array}{rl}||(\mathbf{I}-{\tau }_{i-1}\mathbf{A})...(\mathbf{I}-{\tau }_0\mathbf{A})|{|}_2=& ||\mathbf{P}(\mathbf{I}-{\tau }_{i-1}\mathbf{\Lambda })...(\mathbf{I}-{\tau }_0\mathbf{\Lambda }){\mathbf{P}}^T|{|}_2\\ =& ||(\mathbf{I}-{\tau }_{i-1}\mathbf{\Lambda })...(\mathbf{I}-{\tau }_0\mathbf{\Lambda })|{|}_2\\ =& \underset{\lambda \in \sigma (\mathbf{A})}{\max }|(1-{\tau }_{i-1}\lambda )...(1-{\tau }_0\lambda )|\end{array}$$
而$\mathbf{A}$的谱是可以估计的，假设已算出$\sigma (\mathbf{A})\in [\underline{\lambda },\bar{\lambda }]$。那么上式可以写成：
$$\begin{array}{rlr}\underset{\lambda \in \sigma (\mathbf{A})}{\max }|(1-{\tau }_{i-1}\lambda )...(1-{\tau }_0\lambda )|& \le & ||(1-{\tau }_{i-1}\lambda )...(1-{\tau }_0\lambda )|{|}_{\infty ,[\underline{\lambda },\bar{\lambda }]}\\ & =& ||f(\lambda )|{|}_{\infty ,[\underline{\lambda },\bar{\lambda }]}\end{array}$$
左边的原式是一个绝对值，现在右边看成是一个关于$\lambda$的多项式函数$f(\lambda )=(1-{\tau }_{i-1}\lambda )...(1-{\tau }_0\lambda )$的无穷范数。该多项式函数有$i$个实单根：$\frac{1}{{\tau }_0},...,\frac{1}{{\tau }_{i-1}}$。

而由之前的结论，定义在$[\underline{\lambda },\bar{\lambda }]$上的Chebyshev多项式$\widehat{T_i}(\lambda )$在开区间$(\underline{\lambda },\bar{\lambda })$内有$i$个实单根，且$\widehat{T_i}(\lambda )=\underset{P_i\in {\mathbf{P}}_{\mathbf{i}},P_i(0)=1}{\inf }||P_i|{|}_{\infty ,[\underline{\lambda },\bar{\lambda }]}$.

注意当$\mathbf{A}$为对称正定阵时，$0\notin [\underline{\lambda },\bar{\lambda }]$，所以$\underset{P_i\in {\mathbf{P}}_{\mathbf{i}},P_i(0)=1}{\inf }||P_i|{|}_{\infty ,[\underline{\lambda },\bar{\lambda }]}$的下界恰好能被原问题的$f(\lambda )$取到。此时
$$P_i^{\ast }(\lambda )=\widehat{T_i}(\lambda )=\frac{\widetilde{T_i}(\lambda )}{\widetilde{T_i}(0)}=\frac{T_i\left(\frac{\lambda -\frac{1}{2}(\bar{\lambda }+\underline{\lambda })}{\frac{1}{2}(\bar{\lambda }-\underline{\lambda })}\right)}{T_i\left(\frac{0-\frac{1}{2}(\bar{\lambda }+\underline{\lambda })}{\frac{1}{2}(\bar{\lambda }-\underline{\lambda })}\right)}=(1-{\tau }_{i-1}^{(i)}\lambda )...(1-{\tau }_0^{(i)}\lambda )$$
其中${\tau }_j^{(i)}$的上标表示与迭代次数$i$有关。所以原问题的$i$个实单根就是定义在$[\underline{\lambda },\bar{\lambda }]$上的Chebyshev多项式的根。单步的迭代格式写成
$$\begin{array}{rlr}{\mathbf{x}}^{(1)}& =& {\mathbf{x}}^{(0)}+{\tau }_0^{(i)}{\mathbf{r}}^{(0)}\\ & ...& \\ {\mathbf{x}}^{(j)}& =& {\mathbf{x}}^{(j-1)}+{\tau }_{j-1}^{(i)}{\mathbf{r}}^{(j-1)}\\ & ...& \\ {\mathbf{x}}^{(i)}& =& {\mathbf{x}}^{(i-1)}+{\tau }_{i-1}^{(i)}{\mathbf{r}}^{(i-1)}\end{array}$$

收敛速度

Chebyshev迭代的收敛速度优势，应当通过进行一次$i$步的Chebyshev迭代，和进行$i$次的单步定常迭代来比较。

由Chebyshev的逼近性质，可以得到Chebyshev的迭代收敛速度为
$$\begin{array}{rlr}\frac{||{\mathbf{e}}^{(i)}||}{||{\mathbf{e}}^{(0)||}}& \le & ||(1-{\tau }_{i-1}\lambda )...(1-{\tau }_0\lambda )|{|}_{\infty ,[\underline{\lambda },\bar{\lambda }]}\\ & =& \frac{1}{|\widetilde{T_i}(0)|}=\frac{1}{\left|T_i\left(\frac{0-\frac{\bar{\lambda }+\underline{\lambda }}{2}}{\frac{\bar{\lambda }-\underline{\lambda }}{2}}\right)\right|}\\ & =& \frac{1}{\left|T_i\left(\frac{\frac{\bar{\lambda }}{\underline{\lambda }}+1}{\frac{\bar{\lambda }}{\underline{\lambda }}-1}\right)\right|}=\frac{1}{\left|T_i\left(\frac{\alpha +1}{\alpha -1}\right)\right|}\\ & & \le \approx 2{\left(\frac{\sqrt{\alpha }-1}{\sqrt{\alpha }+1}\right)}^i\end{array}$$
其中$\alpha =\frac{\bar{\lambda }}{\underline{\lambda }}>1$。

而如果做$i$次单步的定常迭代，每次单步的收敛速度为
$$P_1^{\ast }(\lambda )=\frac{1}{\left|T_1\left(\frac{\alpha +1}{\alpha -1}\right)\right|}=\frac{1}{\left|\frac{\alpha +1}{\alpha -1}\right|}=\frac{\alpha -1}{\alpha +1}$$
连续做$i$次以后的收敛速度为$\frac{||{\mathbf{e}}^{(i)}||}{||{\mathbf{e}}^{(0)||}}\le {\left(\frac{\alpha -1}{\alpha +1}\right)}^i$。这显然要比Chebyshev迭代的收敛速度慢。

两步迭代格式

单步的Chebyshev迭代格式的缺点是${\tau }_j^{(i)}$依赖于迭代次数$i$的取值。自然地想，能不能不依赖于后者的确定？这就可以用上Chebyshev多项式的三项递推关系来解决！

对标准的Chebyshev多项式，$T_{n+1}(y)=2y{T}_n(y)-T_{n-1}(y),...,T_1(y)=y,T_0(y)=1$。但需要的是定义在$[\underline{\lambda },\bar{\lambda }]$上的Chebyshev多项式，做变换：
$$\widetilde{T_i}(x)=T_i\left(y=\frac{x-\frac{1}{2}(\bar{\lambda }+\underline{\lambda })}{\frac{1}{2}(\bar{\lambda }-\underline{\lambda })}\right)=T_i(y=ax-y_0)$$
其中记$y_0=\frac{\bar{\lambda }+\underline{\lambda }}{\bar{\lambda }-\underline{\lambda }},a=\frac{2}{\bar{\lambda }-\underline{\lambda }}$。按照$x=0$这一点的$\widetilde{T_i}$值做归一化：$\widehat{T_i}(x)=\frac{\widetilde{T_i}(x)}{\widetilde{T_i}(0)}=\frac{T_i(ax-y_0)}{T_i(-y_0)}=\frac{T_i(y_0-ax)}{T_i(y_0)}$，因此三项递推关系为
$$\begin{gathered} \widehat{T_0}(x)=\frac{T_0(y_0-ax)}{T_0(y_0)}=1 \\ \widehat{T_1}(x)=\frac{T_1(y_0-ax)}{T_1(y_0)}=\frac{y_0-ax}{y_0}=\widehat{T_0}(x)-\frac{a}{y_0}x\widehat{T_0}(x) \\ ...... \\ \begin{array}{rl}\widehat{T_{i+1}}(x)& =\frac{T_{i+1}(y_0-ax)}{T_{i+1}(y_0)}=\frac{2(y_0-ax)T_i(y_0-ax)-T_{i-1}(y_0-ax)}{T_{i+1}(y_0)}\\ & =\frac{2(y_0-ax)T_i(y_0)}{T_{i+1}(y_0)}\frac{T_i(y_0-ax)}{T_i(y_0)}-\frac{T_{i-1}(y_0)}{T_{i+1}(y_0)}\frac{T_{i-1}(y_0-ax)}{T_{i-1}(y_0)}\\ & =\frac{2(y_0-ax)T_i(y_0)}{T_{i+1}(y_0)}\widehat{T_i}(x)-\frac{T_{i-1}(y_0)}{T_{i+1}(y_0)}\widehat{T_{i-1}}(x)\\ & =\frac{2y_0{T}_i(y_0)}{T_{i+1}(y_0)}\widehat{T_i}(x)-\frac{T_{i-1}(y_0)}{T_{i+1}(y_0)}\widehat{T_{i-1}}(x)-2a\frac{T_i(y_0)}{T_{i+1}(y_0)}x\widehat{T_i}(x)\\ & =\left(1+\frac{T_{i-1}(y_0)}{T_{i+1}(y_0)}\right)\widehat{T_i}(x)-\frac{T_{i-1}(y_0)}{T_{i+1}(y_0)}\widehat{T_{i-1}}(x)-2a\frac{T_i(y_0)}{T_{i+1}(y_0)}x\widehat{T_i}(x)\\ & ={\alpha }_i\widehat{T_i}(x)+(1-{\alpha }_i)\widehat{T_{i-1}}(x)-{\beta }_{i}x\widehat{T_i}(x)\end{array} \end{gathered}$$
其中系数${\alpha }_i$和${\beta }_i$的递归计算方式为
$$\begin{gathered} {\beta }_0=2a\frac{T_0(y_0)}{T_1(y_0)}=\frac{2a}{y_0}=\frac{4}{\bar{\lambda }+\underline{\lambda }} \\ \begin{array}{rl}\frac{1}{{\beta }_i}& =\frac{1}{2a}\frac{T_{i+1}(y_0)}{T_i(y_0)}=\frac{\bar{\lambda }-\underline{\lambda }}{4}\frac{2y_0{T}_i(y_0)-T_{i-1}(y_0)}{T_i(y_0)}=\frac{\bar{\lambda }-\underline{\lambda }}{2}{y}_0-\frac{\bar{\lambda }-\underline{\lambda }}{4}\frac{T_{i-1}(y_0)}{T_i(y_0)}\\ & =\frac{\bar{\lambda }+\underline{\lambda }}{2}-\frac{\bar{\lambda }-\underline{\lambda }}{4}\frac{1}{2a}{\beta }_{i-1}=\frac{\bar{\lambda }+\underline{\lambda }}{2}-{\left(\frac{\bar{\lambda }-\underline{\lambda }}{4}\right)}^2{\beta }_{i-1}\end{array} \\ {\alpha }_i=2y_0\frac{T_i(y_0)}{T_{i+1}(y_0)}=\frac{2y_0}{2a}{\beta }_i=\frac{\bar{\lambda }+\underline{\lambda }}{2}{\beta }_i \end{gathered}$$

由此对应的两步Chebyshev迭代格式（具体的导出步骤，笔者也不确定）为：
$${\mathbf{x}}^{(i+1)}={\alpha }_i{\mathbf{x}}^{(i)}+(1-{\alpha }_i){\mathbf{x}}^{(i-1)}+{\beta }_i{\mathbf{r}}^{(i)}$$

共轭梯度（Conjugate Gradient）方法

将原来的代数方程组求解问题$\mathbf{A}\mathbf{x}=\mathbf{b}$转化为全空间无约束的优化问题，目标函数为
$$\phi =\frac{1}{2}(\mathbf{A}\mathbf{x},\mathbf{x})-(\mathbf{b},\mathbf{x})$$
它的驻点${\mathbf{x}}^{\ast }$满足$\delta \phi ({\mathbf{x}}^{\ast })=\mathbf{A}{\mathbf{x}}^{\ast }-\mathbf{b}=0$，即为原方程组的解。目标函数有下界
$$\begin{gathered} \phi ({\mathbf{x}}^{\ast })=\phi ({\mathbf{A}}^{-1}\mathbf{b})=-\frac{1}{2}(\mathbf{b},{\mathbf{A}}^{-1}\mathbf{b})=-\frac{1}{2}(\mathbf{A}{\mathbf{x}}^{\ast },{\mathbf{x}}^{\ast }) \\ \phi (\mathbf{x})-\phi ({\mathbf{x}}^{\ast })=\frac{1}{2}\left(\mathbf{A}(\mathbf{x}-{\mathbf{x}}^{\ast }),\mathbf{x}-{\mathbf{x}}^{\ast }\right)=\frac{1}{2}||\mathbf{x}-{\mathbf{x}}^{\ast }|{|}_{\mathbf{A}}\ge 0 \end{gathered}$$
其中由$\mathbf{A}$内积诱导的$\mathbf{A}$范数$||\mathbf{x}|{|}_{\mathbf{A}}^2=(\mathbf{A}\mathbf{x},\mathbf{x})=(\mathbf{x},\mathbf{x}{)}_{\mathbf{A}}$

CG和最速下降都属于子空间搜索方法。如果给定搜索方向${\mathbf{p}}^{(k)}$，对此做一维极小搜索，则可以得到该方向的步长${\alpha }_k$：
$${\alpha }_k=\underset{\alpha }{\mathrm{argmin}}\phi ({\mathbf{x}}^{(k)}+\alpha {\mathbf{p}}^{(k)})$$

同之前的迭代法，误差和残量之间关系为${\mathbf{e}}^{(k)}={\mathbf{x}}^{(k)}-{\mathbf{x}}^{\ast }=-{\mathbf{A}}^{-1}{\mathbf{r}}^{(k)}$。

最速下降法的收敛速度

简单地取${\mathbf{p}}^{(k)}={\mathbf{r}}^{(k)}$，即当前的残量方向。
$$\begin{array}{rl}||{\mathbf{e}}^{(k+1)}|{|}_{\mathbf{A}}^2& =||{\mathbf{e}}^{(k)}+{\alpha }_k{\mathbf{r}}^{(k)}|{|}_{\mathbf{A}}^2=\left(\mathbf{A}{\mathbf{e}}^{(\mathbf{k})}+{\alpha }_k\mathbf{A}{\mathbf{r}}^{(k)},{\mathbf{e}}^{(k)}+{\alpha }_k{\mathbf{r}}^{(k)}\right)\\ & =||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}^2+||{\alpha }_k{\mathbf{r}}^{(k)}|{|}_{\mathbf{A}}^2-2({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)})\\ & =||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}^2-{\alpha }_k({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)})=||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}^2-\frac{({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)})({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)})}{{({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)})}_{\mathbf{A}}}\\ & =||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}^2\left(1-\frac{1}{\frac{({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)}{)}_{\mathbf{A}}}{({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)})}\frac{({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)}{)}_{{\mathbf{A}}^{-1}}}{({\mathbf{r}}^{(k)},{\mathbf{r}}^{(k)})}}\right)\\ & \le ||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}^2\left(1-\frac{1}{\frac{({\lambda }_1+{\lambda }_n{)}^2}{4{\lambda }_1{\lambda }_n}}\right)=||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}^2\frac{({\lambda }_1-{\lambda }_n{)}^2}{({\lambda }_1+{\lambda }_n{)}^2}\end{array}$$

其中${\lambda }_1$为最大的特征值，${\lambda }_n$为最小的特征值。所以收敛速度为
$$\frac{||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}}{||{\mathbf{e}}^{(0)}|{|}_{\mathbf{A}}}\le {\left(\frac{{\lambda }_1-{\lambda }_n}{{\lambda }_1+{\lambda }_n}\right)}^k$$

CG方法的收敛速度

既然最速下降法是naive地选取局部残量方向作为搜索方向，自然的想法是能否同时优化2个目标（方向${\mathbf{p}}^{(k)}$和步长${\alpha }_k$）从而得到一些特殊的性质/好处。CG法希望在确定${\mathbf{p}}^{(k)}$方向之后所进行的一维极小搜索得到的新解${\mathbf{x}}^{(k+1)}={\mathbf{x}}^{(k)}+{\alpha }_k{\mathbf{p}}^{(k)}$，同时也是加入向量${\mathbf{p}}^{(k)}$后张成的Krylov子空间内的最小值。为达到这个好的性质所做的一些特别的推导在此不提（实质上每次搜索方向就是${\mathbf{r}}^{(0)}$生成的Krylov子空间的一个方向），后续有时间再补上。我们只要知道第$k$步得到的解${\mathbf{x}}^{(k)}$就是Krylov子空间${\mathbf{K}}_{\mathbf{k}}({\mathbf{r}}^{(0)})$内的最小值，并根据此得出它的收敛速度。

取${\mathbf{x}}^{(0)}=0$，则${\mathbf{r}}^{(0)}=\mathbf{b}$，令$\mathbf{y}={\mathbf{A}}^{-1}{\mathbf{r}}^{(0)}$，那么误差之比

$$\begin{array}{rl}\frac{||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}}{||{\mathbf{e}}^{(0)}|{|}_{\mathbf{A}}}& =\underset{P_{k-1}\in {\mathbf{P}}_{\mathbf{k}-1}}{\min }\frac{||P_{k-1}(\mathbf{A}){\mathbf{r}}^{(0)}-{\mathbf{A}}^{-1}{\mathbf{r}}^{(0)}|{|}_{\mathbf{A}}}{||{\mathbf{A}}^{-1}{\mathbf{r}}^{(0)}|{|}_{\mathbf{A}}}\\ & \le \underset{P_{k-1}\in {\mathbf{P}}_{\mathbf{k}-1}}{\min }\underset{\mathbf{y}\ne 0}{\sup }\frac{||P_{k-1}(\mathbf{A})\mathbf{A}\mathbf{y}-\mathbf{y}|{|}_{\mathbf{A}}}{||\mathbf{y}|{|}_{\mathbf{A}}}\\ & =\underset{P_k\in {\mathbf{P}}_{\mathbf{k}},P_k(0)=1}{\min }\underset{\mathbf{y}\ne 0}{\sup }\frac{||P_k(\mathbf{A})\mathbf{y}|{|}_{\mathbf{A}}}{||\mathbf{y}|{|}_{\mathbf{A}}}\end{array}$$

设$({\lambda }_i,{\mathbf{y}}_i)$为$P_k(\mathbf{A})$的特征值-向量对，则$\mathbf{y}$在这组基底下表示为$\mathbf{y}={\sum }_i{a}_i{\mathbf{y}}_i$，上式化为

$$\begin{array}{rl}\frac{||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}}{||{\mathbf{e}}^{(0)}|{|}_{\mathbf{A}}}& \le \underset{P_k\in {\mathbf{P}}_{\mathbf{k}},P_k(0)=1}{\min }\underset{\mathbf{y}\ne 0}{\sup }\frac{||{\sum }_i{P}_k({\lambda }_i)a_i{\mathbf{y}}_i|{|}_{\mathbf{A}}}{||{\sum }_i{a}_i{\mathbf{y}}_i|{|}_{\mathbf{A}}}\\ & =\underset{P_k\in {\mathbf{P}}_{\mathbf{k}},P_k(0)=1}{\min }\underset{\lambda \in \sigma (\mathbf{A})}{\max }|P_k(\lambda )|\\ & \le \underset{P_k\in {\mathbf{P}}_{\mathbf{k}},P_k(0)=1}{\min }||P_k(\lambda )|{|}_{L\infty \left(\frac{{\lambda }_n}{{\lambda }_1},1\right)}\end{array}$$

该值即为定义在$[\frac{{\lambda }_n}{{\lambda }_1},1]$上且满足$0$点取值为$1$的所有$k$次多项式中，无穷范数最小的那个。这就是Chebyshev多项式，记$\alpha =\frac{{\lambda }_n}{{\lambda }_1}$：
$$\widehat{T_k}(x)=\frac{\widetilde{T_k}(x)}{\widetilde{T_k}(0)}=\frac{T_k\left(\frac{x-\frac{1}{2}(1+\alpha )}{\frac{1}{2}(1-\alpha )}\right)}{T_k\left(-\frac{1+\alpha }{1-\alpha }\right)}=P_k^{\ast }(x)$$

利用其逼近性质，可知收敛速度为
$$\frac{||{\mathbf{e}}^{(k)}|{|}_{\mathbf{A}}}{||{\mathbf{e}}^{(0)}|{|}_{\mathbf{A}}}\le ||P_k^{\ast }(x)|{|}_{L\infty \left(\alpha ,1\right)}=\frac{1}{\left|T_k\left(\frac{1+\alpha }{1-\alpha }\right)\right|}=2{\left(\frac{1-\sqrt{\alpha }}{1+\sqrt{\alpha }}\right)}^k$$

由于$0<\alpha <1$，故$\sqrt{\alpha }$比$\alpha$更靠近1，从而CG法有比最速下降更快的收敛速度。

Chebyshev迭代和CG方法比较

CG是非线性迭代，而Chebyshev是线性迭代。故后者可做预处理算子，而前者不能。

Chebyshev要先对特征值范围有一个上下界的估计，而CG则不用。

Chebyshev迭代在大部分方面不如CG，但可以用来做预处理。