对称矩阵的三对角分解(Lanzos分解算法）-MINRES算法预热

这篇博客看完以后接着看下一篇博客添加链接描述专门介绍MINRES算法实现就容易了

Lanzos分解

首先介绍Lanczos分解，Lanzos把对称矩阵转换为一个三对角对称矩阵。考虑三对角对称矩阵如下，考虑正交分解
$T=Q^{T}AQ$
$T=\left(\begin{array}{cccccc}{\alpha }_1& {\beta }_1& 0& \cdots & 0& 0\\ {\beta }_1& {\alpha }_2& {\beta }_2& 0& \cdots & 0\\ 0& {\beta }_2& {\alpha }_3& {\beta }_3& \cdots & 0\\ 0& \cdots & \cdots & \cdots & \cdots & 0\\ 0& \cdots & 0& {\beta }_{n-2}& {\alpha }_{n-1}& {\beta }_{n-1}\\ 0& 0& \cdots & 0& {\beta }_{n-1}& {\alpha }_n\end{array}\right)$

下面重点考虑正交矩阵$Q$和三对角矩阵$T$的形成，我们记$Q=[q_1,q_2,\dots ,q_n],q_i\in R^n$，则根据$QT=AQ$，我们会得到下面这个等式，约定${\beta }_0{q}_0={\beta }_n{q}_n=0$：
$A{q}_i={\beta }_{i-1}{q}_{i-1}+{\alpha }_i{q}_i+{\beta }_i{q}_{i+1},1\le i\le n.$
我们先考虑${\alpha }_1,{\beta }_1$的确定，任意取一个向量$q_1\in R^n,\Vert q_1{\Vert }_2=1$，则有
$\{\begin{array}{l}A{q}_1={\alpha }_1{q}_1+{\beta }_1{q}_2,\\ {\alpha }_1=q_1^{T}A{q}_1,\\ {\beta }_1=\Vert A{q}_1-{\alpha }_1{q}_1{\Vert }_2,\\ q_2=(A{q}_1-{\alpha }_1{q}_1)/{\beta }_1.\end{array}$
类似地，假设我们已经得到了$[q_1,q_2,\dots ,q_k]$和$[{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_{k-1}],[{\beta }_1,{\beta }_2,\dots ,{\beta }_{k-1}]$，下面同样可以类似得到${\alpha }_k,{\beta }_k,q_{k+1}$，
$\{\begin{array}{l}A{q}_k={\beta }_{k-1}{q}_{k-1}+{\alpha }_k{q}_k+{\beta }_k{q}_{k+1},\\ {\alpha }_k=q_k^T(A{q}_k-{\beta }_{k-1}{q}_{k-1}),\\ {\beta }_k=\Vert A{q}_k-{\beta }_{k-1}{q}_{k-1}{\Vert }_2,\\ q_{k+1}=(A{q}_k-{\beta }_{k-1}{q}_{k-1})/{\beta }_k.\end{array}$
引入记号$Q_k=[q_1,q_2,\dots ,q_k]$，和$T_k$，其中有
$T_k=\left(\begin{array}{cccccc}{\alpha }_1& {\beta }_1& 0& \cdots & 0& 0\\ {\beta }_1& {\alpha }_2& {\beta }_2& 0& \cdots & 0\\ 0& {\beta }_2& {\alpha }_3& {\beta }_3& \cdots & 0\\ 0& \cdots & \cdots & \cdots & \cdots & 0\\ 0& \cdots & 0& {\beta }_{k-2}& {\alpha }_{k-1}& {\beta }_{k-1}\\ 0& 0& \cdots & 0& {\beta }_{k-1}& {\alpha }_k\end{array}\right)$
则有$A{Q}_k=Q_k{T}_k+{\beta }_k{q}_{k+1}{e}_k^T$，其中$e_k\in {\mathbf{R}}^k$且最后一个元素为1，其余元素为0，如果${\beta }_k\ne =0,1\le k\le n-1$，则可以顺利得到对称矩阵A的三对角分解。如果求解过程中某个${\beta }_{k_0}=0$，那么显然可以根据$A{Q}_k=Q_k{T}_k$得到前$k_0-1$个特征向量，如果要计算剩下的特征向量和特征值，只需要重新初始化一个$q_1$即可。

MINRES算法解读

MINRES主要应用于对称不定方程求解，考虑线性方程组如下\eqref{line}所示，其中$A\in {\mathbf{R}}^{n\times n}$是对称矩阵。
$Ax=b$
MINRES算法的出发点是寻求一个向量$x^{(k)}\in x^{(0)}+{\kappa }_k(A,r_0)$，即
$x^k={\min }_{x\in x^0+{\kappa }_k(A,r_0)}\Vert Ax-b{\Vert }_2.$
其中${\kappa }_k(A,r_0)=(r_0,A{r}_0,\dots ,A^{k-1}{r}_0)$形成的向量空间。

选择$q_1=\frac{r^0}{\Vert r^0\Vert },r^0=b-A{x}^0$，则$(r^0,A{r}^0,\dots ,A^{k-1}{r}^0)=(q_1,A{q}_1,\dots ,A^{k-1}{q}_1)\Vert r^0{\Vert }_2$，再根据$A{q}_k={\beta }_{k-1}{q}_{k-1}+{\alpha }_k{q}_k+{\beta }_k{q}_{k+1}$可得$q_{k+1}\in {\kappa }_k(q_1)={\kappa }_k(r^0)$，由此可以得到对于任意一个向量$x$属于$Q_k$张成的向量空间，则必有$x\in {\kappa }_k(r^0)$，反之亦然。
引入$Q_{k+1}=[Q_k,q_{k+1}]$，则根据上面的推导可以得到$A{Q}_k=Q_{k+1}{T}_{k+1,k}$，
$T_{k+1,k}=\left(\begin{array}{c}{T}_k\\ {\beta }_k{e}_k^T\end{array}\right)$

于是乎可以把原始问题转换为下面这个形式，特别注意，这里的$e_1\in {\mathbf{R}}^{k+1}$，上面的$e_k\in {\mathbf{R}}^k$：
$\{\begin{array}{rl}{x}^k& =\underset{x\in x^0+{\kappa }_k(A,r_0)}{\min }\Vert Ax-b{\Vert }_2\\ & =\underset{y\in {\mathbf{R}}^k}{\min }\Vert A(x^0+Q_{k}y)-b{\Vert }_2\\ & =\underset{y\in {\mathbf{R}}^k}{\min }\Vert r^0-A{Q}_{k}y{\Vert }_2\\ & =\underset{y\in {\mathbf{R}}^k}{\min }\Vert r^0-Q_{k+1}{T}_{k+1,k}y{\Vert }_2\\ & =\underset{y\in {\mathbf{R}}^k}{\min }\Vert \Vert r^0{\Vert }_2{q}_1-Q_{k+1}{T}_{k+1,k}y{\Vert }_2\\ & =\underset{y\in {\mathbf{R}}^k}{\min }\Vert \Vert r^0{\Vert }_2{Q}_{k+1}{e}_1-Q_{k+1}{T}_{k+1,k}y{\Vert }_2\\ & =\underset{y\in {\mathbf{R}}^k}{\min }\Vert Q_{k+1}(\Vert r^0{\Vert }_2{e}_1-T_{k+1,k}y){\Vert }_2\\ & =\underset{y\in {\mathbf{R}}^k}{\min }\Vert \Vert r^0{\Vert }_2{e}_1-T_{k+1,k}y{\Vert }_2.\end{array}$

QR分解求解二范数优化问题

引入记号$a=\Vert r^0{\Vert }_2$，原始问题进一步转化为求下面这个问题，对于这个问题，我们引入QR分解来处理。
${\min }_{y\in {\mathbf{R}}^k}\Vert a{e}_1-T_{k+1,k}y{\Vert }_2.$
考虑矩阵$T_{k+1,k}$的QR分解，为了区分上面对称矩阵$A$的正交分解，这里我们假设$T_{k+1,k}=V_{k+1}{R}_{k+1,k}$，其中$V_{k+1}\in R^{(k+1)\times (k+1)}$是正交矩阵，
$R_{k+1,k}=\left(\begin{array}{cccccc}{r}_{0,0}& & & \cdots & \cdots & \\ 0& r_{1,1}& & & \cdots & \\ 0& 0& \cdots & \cdots & & \\ 0& 0& \cdots & \cdots & & r_{k-1,k-1}\\ 0& 0& \cdots & 0& 0& 0\end{array}\right)=\left(\begin{array}{c}{R}_k\\ 0^T\end{array}\right)$
有了上面的介绍以后，我们直接带入问题就可以得到
$\begin{array}{rl}{\Vert a{e}_1-T_{k+1,k}y\Vert }_2& =\Vert a{e}_1-V_{k+1}{R}_{k+1,k}y){\Vert }_2\\ & ={\Vert V_{k+1}\left(V_{k+1}^{\top }\left(a{e}_1\right)-\left[\begin{array}{c}{R}_k\\ 0\end{array}\right]y\right)\Vert }_2\\ & ={\Vert \left(V_{k+1}^{\top }\left(a{e}_1\right)-\left[\begin{array}{c}{R}_{k}y\\ 0\end{array}\right]\right)\Vert }_2\\ & ={\Vert {\left[V_{k+1,k},v_{k+1}\right]}^{\top }\left(a{e}_1\right)-\left[\begin{array}{c}{R}_{k}y\\ 0\end{array}\right]\Vert }_2,\end{array}$
如果$R_k$非奇异，那么显然取$y$满足$V_{k+1,k}^{T}a{e}_1-R_{k}y=0$即可，此时有$y = a R_{k}^{-1} V_{k+1,k}^T e_1 $，因此根据MINRES算法得到的第$k$次迭代向量如下：
$x^k=x^0+a{Q}_k{R}_k^{-1}{V}_{k+1,k}^T{e}_1$

Lanzos分解

首先介绍Lanczos分解，Lanzos把对称矩阵转换为一个三对角对称矩阵。考虑三对角对称矩阵如下，考虑正交分解
$T=Q^{T}AQ$
$T=\left(\begin{array}{cccccc}{\alpha }_1& {\beta }_1& 0& \cdots & 0& 0\\ {\beta }_1& {\alpha }_2& {\beta }_2& 0& \cdots & 0\\ 0& {\beta }_2& {\alpha }_3& {\beta }_3& \cdots & 0\\ 0& \cdots & \cdots & \cdots & \cdots & 0\\ 0& \cdots & 0& {\beta }_{n-2}& {\alpha }_{n-1}& {\beta }_{n-1}\\ 0& 0& \cdots & 0& {\beta }_{n-1}& {\alpha }_n\end{array}\right)$

下面重点考虑正交矩阵$Q$和三对角矩阵$T$的形成，我们记$Q=[q_1,q_2,\dots ,q_n],q_i\in R^n$，则根据$QT=AQ$，我们会得到下面这个等式，约定${\beta }_0{q}_0={\beta }_n{q}_n=0$：
$A{q}_i={\beta }_{i-1}{q}_{i-1}+{\alpha }_i{q}_i+{\beta }_i{q}_{i+1},1\le i\le n.$
我们先考虑${\alpha }_1,{\beta }_1$的确定，任意取一个向量$q_1\in R^n,\Vert q_1{\Vert }_2=1$，则有
$\{\begin{array}{l}A{q}_1={\alpha }_1{q}_1+{\beta }_1{q}_2,\\ {\alpha }_1=q_1^{T}A{q}_1,\\ {\beta }_1=\Vert A{q}_1-{\alpha }_1{q}_1{\Vert }_2,\\ q_2=(A{q}_1-{\alpha }_1{q}_1)/{\beta }_1.\end{array}$
类似地，假设我们已经得到了$[q_1,q_2,\dots ,q_k]$和$[{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_{k-1}],[{\beta }_1,{\beta }_2,\dots ,{\beta }_{k-1}]$，下面同样可以类似得到${\alpha }_k,{\beta }_k,q_{k+1}$，
$\{\begin{array}{l}A{q}_k={\beta }_{k-1}{q}_{k-1}+{\alpha }_k{q}_k+{\beta }_k{q}_{k+1},\\ {\alpha }_k=q_k^T(A{q}_k-{\beta }_{k-1}{q}_{k-1}),\\ {\beta }_k=\Vert A{q}_k-{\beta }_{k-1}{q}_{k-1}{\Vert }_2,\\ q_{k+1}=(A{q}_k-{\beta }_{k-1}{q}_{k-1})/{\beta }_k.\end{array}$
引入记号$Q_k=[q_1,q_2,\dots ,q_k]$，和$T_k$，其中有
$T_k=\left(\begin{array}{cccccc}{\alpha }_1& {\beta }_1& 0& \cdots & 0& 0\\ {\beta }_1& {\alpha }_2& {\beta }_2& 0& \cdots & 0\\ 0& {\beta }_2& {\alpha }_3& {\beta }_3& \cdots & 0\\ 0& \cdots & \cdots & \cdots & \cdots & 0\\ 0& \cdots & 0& {\beta }_{k-2}& {\alpha }_{k-1}& {\beta }_{k-1}\\ 0& 0& \cdots & 0& {\beta }_{k-1}& {\alpha }_k\end{array}\right)$
则有$A{Q}_k=Q_k{T}_k+{\beta }_k{q}_{k+1}{e}_k^T$，其中$e_k\in {\mathbf{R}}^k$且最后一个元素为1，其余元素为0，如果${\beta }_k\ne =0,1\le k\le n-1$，则可以顺利得到对称矩阵A的三对角分解。如果求解过程中某个${\beta }_{k_0}=0$，那么显然可以根据$A{Q}_k=Q_k{T}_k$得到前$k_0-1$个特征向量，如果要计算剩下的特征向量和特征值，只需要重新初始化一个$q_1$即可。

MINRES算法解读

MINRES主要应用于对称不定方程求解，考虑线性方程组如下\eqref{line}所示，其中$A\in {\mathbf{R}}^{n\times n}$是对称矩阵。
$Ax=b$
MINRES算法的出发点是寻求一个向量$x^{(k)}\in x^{(0)}+{\kappa }_k(A,r_0)$，即
$x^k={\min }_{x\in x^0+{\kappa }_k(A,r_0)}\Vert Ax-b{\Vert }_2.$
其中${\kappa }_k(A,r_0)=(r_0,A{r}_0,\dots ,A^{k-1}{r}_0)$形成的向量空间。

选择$q_1=\frac{r^0}{\Vert r^0\Vert },r^0=b-A{x}^0$，则$(r^0,A{r}^0,\dots ,A^{k-1}{r}^0)=(q_1,A{q}_1,\dots ,A^{k-1}{q}_1)\Vert r^0{\Vert }_2$，再根据$A{q}_k={\beta }_{k-1}{q}_{k-1}+{\alpha }_k{q}_k+{\beta }_k{q}_{k+1}$可得$q_{k+1}\in {\kappa }_k(q_1)={\kappa }_k(r^0)$，由此可以得到对于任意一个向量$x$属于$Q_k$张成的向量空间，则必有$x\in {\kappa }_k(r^0)$，反之亦然。
引入$Q_{k+1}=[Q_k,q_{k+1}]$，则根据上面的推导可以得到$A{Q}_k=Q_{k+1}{T}_{k+1,k}$，
$T_{k+1,k}=\left(\begin{array}{c}{T}_k\\ {\beta }_k{e}_k^T\end{array}\right)$

于是乎可以把原始问题转换为下面这个形式，特别注意，这里的$e_1\in {\mathbf{R}}^{k+1}$，上面的$e_k\in {\mathbf{R}}^k$：
$\{\begin{array}{rl}{x}^k& =\underset{x\in x^0+{\kappa }_k(A,r_0)}{\min }\Vert Ax-b{\Vert }_2\\ & =\underset{y\in {\mathbf{R}}^k}{\min }\Vert A(x^0+Q_{k}y)-b{\Vert }_2\\ & =\underset{y\in {\mathbf{R}}^k}{\min }\Vert r^0-A{Q}_{k}y{\Vert }_2\\ & =\underset{y\in {\mathbf{R}}^k}{\min }\Vert r^0-Q_{k+1}{T}_{k+1,k}y{\Vert }_2\\ & =\underset{y\in {\mathbf{R}}^k}{\min }\Vert \Vert r^0{\Vert }_2{q}_1-Q_{k+1}{T}_{k+1,k}y{\Vert }_2\\ & =\underset{y\in {\mathbf{R}}^k}{\min }\Vert \Vert r^0{\Vert }_2{Q}_{k+1}{e}_1-Q_{k+1}{T}_{k+1,k}y{\Vert }_2\\ & =\underset{y\in {\mathbf{R}}^k}{\min }\Vert Q_{k+1}(\Vert r^0{\Vert }_2{e}_1-T_{k+1,k}y){\Vert }_2\\ & =\underset{y\in {\mathbf{R}}^k}{\min }\Vert \Vert r^0{\Vert }_2{e}_1-T_{k+1,k}y{\Vert }_2.\end{array}$

QR分解求解二范数优化问题

引入记号$a=\Vert r^0{\Vert }_2$，原始问题进一步转化为求下面这个问题，对于这个问题，我们引入QR分解来处理。
${\min }_{y\in {\mathbf{R}}^k}\Vert a{e}_1-T_{k+1,k}y{\Vert }_2.$
考虑矩阵$T_{k+1,k}$的QR分解，为了区分上面对称矩阵$A$的正交分解，这里我们假设$T_{k+1,k}=V_{k+1}{R}_{k+1,k}$，其中$V_{k+1}\in R^{(k+1)\times (k+1)}$是正交矩阵，
$R_{k+1,k}=\left(\begin{array}{cccccc}{r}_{0,0}& & & \cdots & \cdots & \\ 0& r_{1,1}& & & \cdots & \\ 0& 0& \cdots & \cdots & & \\ 0& 0& \cdots & \cdots & & r_{k-1,k-1}\\ 0& 0& \cdots & 0& 0& 0\end{array}\right)=\left(\begin{array}{c}{R}_k\\ 0^T\end{array}\right)$
有了上面的介绍以后，我们直接带入问题就可以得到
$\begin{array}{rl}{\Vert a{e}_1-T_{k+1,k}y\Vert }_2& =\Vert a{e}_1-V_{k+1}{R}_{k+1,k}y){\Vert }_2\\ & ={\Vert V_{k+1}\left(V_{k+1}^{\top }\left(a{e}_1\right)-\left[\begin{array}{c}{R}_k\\ 0\end{array}\right]y\right)\Vert }_2\\ & ={\Vert \left(V_{k+1}^{\top }\left(a{e}_1\right)-\left[\begin{array}{c}{R}_{k}y\\ 0\end{array}\right]\right)\Vert }_2\\ & ={\Vert {\left[V_{k+1,k},v_{k+1}\right]}^{\top }\left(a{e}_1\right)-\left[\begin{array}{c}{R}_{k}y\\ 0\end{array}\right]\Vert }_2,\end{array}$
如果$R_k$非奇异，那么显然取$y$满足$V_{k+1,k}^{T}a{e}_1-R_{k}y=0$即可，此时有$y = a R_{k}^{-1} V_{k+1,k}^T e_1 $，因此根据MINRES算法得到的第$k$次迭代向量如下：
$x^k=x^0+a{Q}_k{R}_k^{-1}{V}_{k+1,k}^T{e}_1$

$T_{k+1,k}$的QR分解实现

我们希望可以在$T_{k,k-1}$的QR分解基础上做一次Givens变化得到$T_{k+1,k}$的QR分解，假设$T_{k,k-1}$的QR分解如下：
$T_{k,k-1}=(G_{k-1}{G}_{k-2}\dots G_1{)}^T{R}_{k,k-1}=V_k{R}_{k,k-1}$
其中
$R_{k,k-1}=\left(\begin{array}{cccccc}{r}_{0,0}& & & \cdots & \cdots & \\ 0& r_{1,1}& & & \cdots & \\ 0& 0& \cdots & \cdots & & \\ 0& 0& \cdots & \cdots & & r_{k-1,k-1}\\ 0& 0& \cdots & 0& 0& 0\end{array}\right)=\left(\begin{array}{c}{R}_{k-1}\\ 0^T\end{array}\right)$
以及Givens变换矩阵形如下面这个形式：
$G=\left(\begin{array}{ccccccc}1& 0& 0& \cdots & \cdots & 0& 0\\ 0& 1& 0& 0& \cdots & 0& 0\\ 0& 0& \cdots & \cdots & 0& 0& 0\\ 0& 0& \cdots & c& \cdots & s& 0\\ 0& 0& \cdots & \cdots & \cdots & 0& 0\\ 0& 0& \cdots & -s& \cdots & c& 0\\ 0& 0& \cdots & 0& \cdots & 0& 1\end{array}\right)$
针对这个问题使用的Givens变换$G_i$仅仅改变矩阵$i,i+1$的元素，因此$G_i$的具体形式如下：
$G_i=\left[\begin{array}{cccc}{I}_{i-1}& & & \\ & c_i& s_i& \\ & -s_i& c_i& \\ & & & I_{k-i-1}\end{array}\right]$

我们重新回忆一下$T_{k+1,k}$的形状，
$\{\begin{array}{rl}{T}_{k+1,k}& =\left(\begin{array}{c}{T}_k\\ {\beta }_k{e}_k^T\end{array}\right)=\left[\begin{array}{cc}{T}_{k,k-1}& 0\\ & ⋮\\ & {\beta }_{k-1}\\ & {\alpha }_k\\ 0^T& {\beta }_k\end{array}\right]=\left[\begin{array}{cc}{V}_k{R}_{k,k-1}& 0\\ & ⋮\\ & {\beta }_{k-1}\\ & {\alpha }_k\\ 0^T& {\beta }_k\end{array}\right]\\ & =\left[\begin{array}{cc}{V}_k& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}{R}_{k,k-1}& V_k^{-1}\left[\begin{array}{c}0\\ ⋮\\ 0\\ {\beta }_{k-1}\\ {\alpha }_k\end{array}\right]\\ 0& {\beta }_k\end{array}\right]\\ & =\left[\begin{array}{cc}{V}_k& 0\\ 0& 1\end{array}\right]{\tilde{T}}_{k+1,k}\end{array}$
而且另一方面：

$Q_k^{-1}\left[\begin{array}{c}0\\ ⋮\\ 0\\ 0\\ {\beta }_{k-1}\\ {\alpha }_k\end{array}\right]=G_{k-1}{G}_{k-2}\cdots G_1\left[\begin{array}{c}0\\ ⋮\\ 0\\ {\beta }_{k-1}\\ {\alpha }_k\end{array}\right]=G_{k-1}{G}_{k-2}\left[\begin{array}{c}0\\ ⋮\\ 0\\ 0\\ {\beta }_{k-1}\\ {\alpha }_k\end{array}\right]=\left[\begin{array}{c}0\\ ⋮\\ 0\\ r_{k-3,k-1}\\ r_{k-2,k-1}\\ r_{k-1,k-1}\end{array}\right]$

有了上述的介绍以后，我们发现只要选择一个Givens变换把${\tilde{T}}_{k+1,k}$右下角的${\beta }_k$消去即可，因此选择$G_k$如下：
$G_k=\left[\begin{array}{ccc}{I}_{k-1}& & \\ & c_k& s_k\\ & -s_k& c_k\end{array}\right]\in {\mathbf{R}}^{(k+1)\times (k+1)}$
于是我们可以得到$T_{k+1,k}$的QR分解$T_{k+1,k}=V_{k+1}{R}_{k+1,k}$，这里假设Givens变换是矩阵$G$的维度自动增长。
$V_{k+1}=\left[\begin{array}{cc}{V}_k& 0\\ 0& 1\end{array}\right]G_k^{\top }={\left(G_k{\tilde{G}}_{k-1}\cdots {\tilde{G}}_1\right)}^{\top }$
注意，由于矩阵$T_{k+1,k}$是三对角矩阵，而Givens变换只改变两行两列元素，因此$R_{k+1,k}$是一个上三角的带宽为3的带状矩阵，以及观察这个变换过程可以发现$R_{k-1}$其实是$R_k$的$(k-1)$阶顺序主子阵。

$x^k$的具体递推公式

整理上文，我们有

$\{\begin{array}{rl}& A=Q^{T}TQ,\\ & r^0=b-A{x}^0=\Vert r^0{\Vert }_2{q}_1=a{q}_1,\\ & Q_k=[q_1,q_2,\dots ,q_k],\\ & x^k=x^0+Q_{k}y,\underset{y\in R^k}{\min }\Vert b-A{x}^0-A{Q}_{k}y\Vert =\underset{y\in R^k}{\min }\Vert r^0-A{Q}_{k}y\Vert ,\\ & \underset{y\in R^k}{\min }\Vert r^0-A{Q}_{k}y\Vert =\underset{y\in R^k}{\min }\Vert a{Q}_k{e}_1-A{Q}_{k}y\Vert =\underset{y\in R^k}{\min }\Vert a{Q}_k{e}_1-Q_k{T}_{k+1,k}y\Vert ,\\ & \underset{y\in R^k}{\min }\Vert a{e}_1-T_{k+1,k}y{\Vert }_2=\underset{y\in R^k}{\min }\Vert a{e}_1-V_{k+1}{R}_{k+1,k}y{\Vert }_2,y=a{R}_k^{-1}{V}_{k+1,k}^T{e}_1,\\ & T_{k+1,k}=\left(\begin{array}{c}{T}_k\\ {\beta }_k{e}_k^T\end{array}\right),V_{k+1}=[V_{k+1,k},v_{k+1}],R_{k+1,k}=\left(\begin{array}{c}{R}_k\\ 0\end{array}\right)\\ & x^k=x^0+Q_k(a{R}_k^{-1}{V}_{k+1,k}^T{e}_1),\end{array}$