矩阵求逆引理的证明

矩阵求逆引理，或者称Sherman-Woodbury-Morrison公式

$$\begin{align} (\boldsymbol{A}+\boldsymbol{BC})^{-1}=\boldsymbol{A}^{-1}-\boldsymbol{A}^{-1}\boldsymbol{B}(\mathbf{I}+\boldsymbol{C}\boldsymbol{A}^{-1}\boldsymbol{B})^{-1}\boldsymbol{CA}^{-1} \end{align}$$
其中 $\boldsymbol{A}\in\mathbb{R}^{n\times n}$是非奇异矩阵， $\boldsymbol{B}\in \mathbb{R}^{n\times p}$， $C\in \mathbb{R}^{p\times n}$。

证明：
考虑线性等式

$$\begin{align} (\boldsymbol{A}+\boldsymbol{BC})\boldsymbol{x}=\boldsymbol{b} \end{align}$$
其中 $\boldsymbol{A}\in\mathbb{R}^{n\times n}$是非奇异矩阵， $\boldsymbol{B}\in \mathbb{R}^{n\times p}$， $C\in \mathbb{R}^{p\times n}$。定义 $\boldsymbol{y}=\boldsymbol{Cx}$，则有
$$\begin{align} \left\{ {\begin{array}{*{20}{c}} {\boldsymbol{Ax}+\boldsymbol{By}=\boldsymbol{b}}\\ {\boldsymbol{y}=\boldsymbol{Cx}} \end{array}} \right. \end{align}$$
该方程组可以写成块矩阵的形式
$$\begin{align} \left[ {\begin{array}{*{20}{c}} {\boldsymbol{A}}&{\boldsymbol{B}}\\ {\boldsymbol{C}}&{-\mathbf{I}} \end{array}} \right] \left[ {\begin{array}{*{20}{c}} {\boldsymbol{x}}\\ {\boldsymbol{y}} \end{array}} \right]{\rm{ = }}\left[ {\begin{array}{*{20}{c}} {\boldsymbol{b}}\\ {\boldsymbol{0}} \end{array}} \right] \end{align}$$
根据方程组（1）式，有 $\boldsymbol{x}=\boldsymbol{A}^{-1}(\boldsymbol{b}-\boldsymbol{By})$，代入方程组（2）式中有
$$\begin{align} \boldsymbol{y}=\boldsymbol{C}\boldsymbol{A}^{-1}(\boldsymbol{b}-\boldsymbol{By}) \end{align}$$
合并同类项，有
$$\begin{align} \boldsymbol{y}=(\mathbf{I}+\boldsymbol{CA}^{-1}\boldsymbol{B})^{-1}\boldsymbol{A}^{-1}\boldsymbol{b} \end{align}$$
代入 $\boldsymbol{x}=\boldsymbol{A}^{-1}(\boldsymbol{b}-\boldsymbol{B}\boldsymbol{y})$中，得到
$$\begin{align} \boldsymbol{x}=(\boldsymbol{A}^{-1}-\boldsymbol{A}^{-1}\boldsymbol{B}(\mathbf{I}+\boldsymbol{C}\boldsymbol{A}^{-1}\boldsymbol{B})^{-1}\boldsymbol{CA}^{-1})\boldsymbol{b} \end{align}$$
因此，结合 $(\boldsymbol{A}+\boldsymbol{BC})\boldsymbol{x}=\boldsymbol{b}$，得到
$$\begin{align} (\boldsymbol{A}+\boldsymbol{BC})^{-1}=\boldsymbol{A}^{-1}-\boldsymbol{A}^{-1}\boldsymbol{B}(\mathbf{I}+\boldsymbol{C}\boldsymbol{A}^{-1}\boldsymbol{B})^{-1}\boldsymbol{CA}^{-1} \end{align}$$
特别地， $\boldsymbol{B},\boldsymbol{C}$为矢量时，有
$$\begin{align} (\boldsymbol{A}+\boldsymbol{uv}^{T})^{-1}=\boldsymbol{A}^{-1}-\frac{\boldsymbol{A}^{-1}\boldsymbol{uv}^T\boldsymbol{A}^{-1}}{1+\boldsymbol{v}^T\boldsymbol{A}^{-1}\boldsymbol{u}} \end{align}$$

说明：该证明过程是翻译body的书 《Convex Optimization》 p-678的内容。

Remake：单纯的应用矩阵求逆引理并不能降低计算量，当一个矩阵$\boldsymbol{D}$可以分解成$\boldsymbol{A}+\boldsymbol{BC}$，并且已知$\boldsymbol{A}^{-1}$已知，利用矩阵求逆引理，可以得到$\boldsymbol{D}$的逆。