抄书——最优化的理论与方法（4）——数学基础（秩一校正）

矩阵的秩一校正在最优化中经常用到。那什么是秩一校正呢？以下主要内容部分抄自抄袁亚湘的《最优化理论与方法》。

---

定义：秩一校正( rank-1 update)
设 $A\in R^{n\times n}$ 是非奇异矩阵，$u,v\in R^{n\times 1}$ 是任意向量，则称 $A+u{v}^T$ 是 $A$ 的秩一校正。
其实，$u{v}^T$ 就是一个秩为1的 $n\times n$ 矩阵，“秩一校正”因而得名。
定理 1.2.6（Sherman-Morrison定理）
（Computes the inverse of the sum of an invertible matrix $A$ and the outer product, $u{v}^T$, of vectors $u$ and $v$.）
若
$$1+v^T{A}^{-1}u̸=0(1.2.36)$$
则 $A$ 的秩一校正 $A+u{v}^T$ 也是非奇异的，且其逆矩阵可以表示为
$$(A+u{v}^T{)}^{-1}=A^{-1}-\frac{A^{-1}u{v}^T{A}^{-1}}{1+v^T{A}^{-1}u}(1.2.37)$$
证明：
$$\begin{gathered} (A+u{v}^T)\left(A^{-1}-\frac{A^{-1}u{v}^T{A}^{-1}}{1+v^T{A}^{-1}u}\right) \\ =A{A}^{-1}+u{v}^T{A}^{-1}-\frac{u{v}^T{A}^{-1}+u{v}^T{A}^{-1}u{v}^T{A}^{-1}}{1+v^T{A}^{-1}u} \\ =I+u{v}^T{A}^{-1}-\frac{u(1+v^T{A}^{-1}u)v^T{A}^{-1}}{1+v^T{A}^{-1}u} \\ =I+u{v}^T{A}^{-1}-u{v}^T{A}^{-1}=I \end{gathered}$$

---

它有什么用呢：（摘自：https://en.wikipedia.org/wiki/Sherman–Morrison_formula）
If the inverse of $A$ is already known, the formula provides a numerically cheap way to compute the inverse of $A$ corrected by the matrix $u{v}^T$ (depending on the point of view, the correction may be seen as a perturbation or as a rank-1 update). The computation is relatively cheap because the inverse of $A+u{v}^T$ does not have to be computed from scratch (which in general is expensive), but can be computed by correcting (or perturbing) $A^{-1}$.

---

上述定理的推广为：
定理 1.2.7（Sherman-Morrison-Woodburg 定理）
设 $A\in R^{n\times n}$ 是非奇异矩阵，$U,V$ 是 $n\times m$ 矩阵，若 $I+V^{\ast }{A}^{-1}U$，则 $A+U{V}^{\ast }$ 可逆，且：
$$(A+U{V}^{\ast }{)}^{-1}=A^{-1}-A^{-1}U(I+V^{\ast }{A}^{-1}U{)}^{-1}{V}^{\ast }{A}^{-1}$$

---

它的应用：（摘自https://en.wikipedia.org/wiki/Woodbury_matrix_identity）
This identity is useful in certain numerical computations where $A^{-1}$ has already been computed and it is desired to compute $(A+UCV{)}^{-1}$. With the inverse of A available, it is only necessary to find the inverse of $C^{-1}+V{A}^{-1}U$ in order to obtain the result using the right-hand side of the identity. If $C$ has a much smaller dimension than A, this is more efficient than inverting $A+UCV$ directly.

---

关于秩一校正的行列式，有：
$$det(I+u{v}^T)=1+u^{T}v(1.2.39)$$
事实上，可以假定 $u̸=0$，注意到 $I+u{v}^T$ 的特征向量或者直交于$v$，或者平行于 $u$。如果直交于 $v$，则特征值为1；如果平行于 $u$，则特征值为 $1+u^{T}v$，从而得到（1.2.39）的结果。

---

证明：假设 $\xi$ 是 $I+u{v}^T$ 的特征向量，它对应的特征值是 $\lambda$，则有：
$$\begin{gathered} (I+u{v}^T)\xi =\lambda \xi \\ \xi +u{v}^T\xi =\lambda \xi \\ u{v}^T\xi =(\lambda -1)\xi \end{gathered}$$
由于 $u{v}^T$ 是秩为1的矩阵，因而它可经过线性变换为：
$$u{v}^T\to \left[\begin{array}{cccc}{\lambda }_0& 0& \cdots & 0\\ 0& {\lambda }_0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_1\end{array}\right]$$
因而它只有两个特征值：${\lambda }_0=0$（有n-1个） 和${\lambda }_1$（只有1个），
（1）若 $\lambda ={\lambda }_0+1=1$，即 $u{v}^T\xi =0\Rightarrow v^T\xi =0$，即：$I+u{v}^T$ 的特征向量直交于 $v$，特征值为1；
（2）若 $\lambda ={\lambda }_1+1$，有：
$$\begin{gathered} u{v}^T\xi ={\lambda }_1\xi \\ . \\ {\xi }^{T}u{v}^T\xi ={\lambda }_1{\xi }^T\xi ={\lambda }_1(\Vert \xi {\Vert }_2=1) \\ . \\ {\xi }^{T}u{v}^T\xi ={\lambda }_1 \\ . \\ {\xi }^T\xi u^{T}v=u^{T}v={\lambda }_1\Rightarrow \lambda =u^{T}v+1 \end{gathered}$$
即：$I+u{v}^T$ 的特征向量平行于 $u$，特征值为 $u^{T}v+1$。

---

进一步，对于秩二校正，有：
$$\begin{gathered} \det (I+u_1{u}_2^T+u_3{u}_4^T) \\ =(1+u_1^T{u}_2)(1+u_3^T{u}_4)-(u_1^T{u}_4)(u_2^T{u}_3)(1.2.40) \end{gathered}$$
事实上，只要注意到：
$$\begin{gathered} I+u_1{u}_2^T+u_3{u}_4^T=(I+u_1{u}_2^T)[I+(I+u_1{u}_2^T{)}^{-1}{u}_3{u}_4^T] \\ \Rightarrow det(I+u_1{u}_2^T+u_3{u}_4^T)=(1+u_1^T{u}_2)\left[1+u_4^T\left(I-\frac{u_1{u}_2^T}{1+u_1^T{u}_2}\right)u_3\right] \\ =(1+u_1^T{u}_2)(1+u_3^T{u}_4)-(u_1^T{u}_4)(u_2^T{u}_3) \end{gathered}$$
注意到 $\Vert A{\Vert }_F^2=tr(A^{T}A)$，故秩一校正矩阵 $A+x{y}^T$ 的Frobenius 范数为：
$$\Vert A+x{y}^T{\Vert }_F^2=\Vert A{\Vert }_F^2+2y^T{A}^{T}x+\Vert x{\Vert }_F^2\Vert y{\Vert }_F^2(1.2.41)$$
又设 $P\in R^{n\times n}$，
$$P=I-\frac{x{y}^T}{\Vert x\Vert \Vert y\Vert }(1.2.42)$$
显然，$P$ 有 $n-1$ 个特征值为1，利用（1.2.40），考虑 $P^{T}P$的最大特征值，可知：
$$\Vert P{\Vert }_2=\frac{y^{T}x}{\Vert x\Vert \Vert y\Vert }(1.2.43)$$

---

证明：
考虑 $\Vert P{\Vert }_2=({\lambda }_{P^{T}P}{)}^{1/2}$ 即 $P$ 矩阵的谱范数，${\lambda }_{P^{T}P}$ 表示 $P^{T}P$ 的最大特征值。
$$\begin{gathered} P^{T}P={\left(I-\frac{x{y}^T}{\Vert x\Vert \Vert y\Vert }\right)}^T\left(I-\frac{x{y}^T}{\Vert x\Vert \Vert y\Vert }\right) \\ =\left(I-\frac{y{x}^T}{\Vert x\Vert \Vert y\Vert }\right)\left(I-\frac{x{y}^T}{\Vert x\Vert \Vert y\Vert }\right) \\ =I-\frac{y{x}^T}{\Vert x\Vert \Vert y\Vert }-\frac{x{y}^T}{\Vert x\Vert \Vert y\Vert }+\frac{y{x}^{T}x{y}^T}{\Vert x{\Vert }^2\Vert y{\Vert }^2} \\ =I-\frac{y{x}^T}{\Vert x\Vert \Vert y\Vert }-\frac{x{y}^T}{\Vert x\Vert \Vert y\Vert }+\frac{y{y}^T}{\Vert y{\Vert }^2} \\ =I-\frac{y{x}^T}{\Vert x\Vert \Vert y\Vert }+\left(\frac{y}{\Vert y\Vert }-\frac{x}{\Vert x\Vert }\right)\frac{y^T}{\Vert y\Vert } \end{gathered}$$
这是个秩二校正矩阵，令
$$u_1=\frac{y}{\Vert y\Vert },u_2=-\frac{x}{\Vert x\Vert },u_3=\frac{y}{\Vert y\Vert }-\frac{x}{\Vert x\Vert },u_4=\frac{y}{\Vert y\Vert }$$
因为 $y^{T}y=\Vert y{\Vert }^2,x^{T}x=\Vert x{\Vert }^2$，代入（1.2.40），有：
$$\begin{gathered} \det (P^{T}P)=(1+u_1^T{u}_2)(1+u_3^T{u}_4)-(u_1^T{u}_4)(u_2^T{u}_3) \\ =\left(1-\frac{y^{T}x}{\Vert y\Vert \Vert x\Vert }\right)\left(1+\frac{y^{T}y}{\Vert y{\Vert }^2}-\frac{x^{T}y}{\Vert x\Vert \Vert y\Vert }\right)+\frac{y^T}{\Vert y\Vert }\frac{y}{\Vert y\Vert }\frac{x^T}{\Vert x\Vert }\left(\frac{y}{\Vert y\Vert }-\frac{x}{\Vert x\Vert }\right) \\ =\left(1-\frac{y^{T}x}{\Vert y\Vert \Vert x\Vert }\right)\left(2-\frac{x^{T}y}{\Vert y\Vert \Vert x\Vert }\right)+\frac{x^{T}y}{\Vert x\Vert \Vert y\Vert }-1 \\ =2-2\frac{y^{T}x}{\Vert y\Vert \Vert x\Vert }-\frac{x^{T}y}{\Vert y\Vert \Vert x\Vert }+\frac{y^{T}x}{\Vert y\Vert \Vert x\Vert }\frac{x^{T}y}{\Vert y\Vert \Vert x\Vert }+\frac{x^{T}y}{\Vert x\Vert \Vert y\Vert }-1 \\ =1-2\frac{y^{T}x}{\Vert y\Vert \Vert x\Vert }+\frac{y^{T}x}{\Vert y\Vert \Vert x\Vert }\frac{x^{T}y}{\Vert y\Vert \Vert x\Vert }={\left(1-\frac{y^{T}x}{\Vert y\Vert \Vert x\Vert }\right)}^2 \end{gathered}$$
矩阵特征值的乘积等于它的行列式值，由此我们应该得到的谱范数应该是：$1-\frac{y^{T}x}{\Vert y\Vert \Vert x\Vert }$，然而为什么是（1.2.43）的$\frac{y^{T}x}{\Vert y\Vert \Vert x\Vert }$?
此处，我证不出来，请诸位有心人帮我看看，多谢多谢！

---

关于秩一校正矩阵特征值得联锁定理可以表示如下：
定理 1.2.8（联锁特征值定理）：
设 $A$ 是 $n\times n$ 对称矩阵，其特征值为 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n$，又设 $\overline{A}=A+\sigma u{u}^T$，其特征值为 ${\overline{\lambda }}_1\ge {\overline{\lambda }}_2\ge \cdots \ge {\overline{\lambda }}_n$，那么：
（1）若 $\sigma >0$，则
$${\overline{\lambda }}_1\ge {\lambda }_1\ge {\overline{\lambda }}_2\ge {\lambda }_2\ge \cdots \ge {\overline{\lambda }}_n\ge {\lambda }_n$$
（2）若 $\sigma <0$，则
$${\lambda }_1\ge {\overline{\lambda }}_1\ge {\lambda }_2\ge {\overline{\lambda }}_2\ge \cdots \ge {\lambda }_n\ge {\overline{\lambda }}_n$$