20220312 矩阵许瓦茨不等式

引理

设 $\mathbf{A},\mathbf{B}$ 为 $m\times n$ 矩阵, $m>n,\mathbf{B}$ 的秩为 $n$，$${\mathbf{A}}^{\mathrm{T}}\mathbf{A}⩾{\left({\mathbf{A}}^{\mathrm{T}}\mathbf{B}\right)}^{\mathrm{T}}{\left({\mathbf{B}}^{\mathrm{T}}\mathbf{B}\right)}^{-1}\left({\mathbf{B}}^{\mathrm{T}}\mathbf{A}\right)$$称为矩阵许瓦茨不等式。

证明

证明： 设有两个 $n$ 维向量 $\mathbf{\lambda }$ 和 $\mathbf{\alpha }$ 如下：
$$\mathbf{\lambda }={\left[\begin{array}{llll}{\lambda }_1& {\lambda }_2& \cdots & {\lambda }_n\end{array}\right]}^{\mathrm{T}},\mathbf{\alpha }={\left[\begin{array}{llll}{\alpha }_1& {\alpha }_2& \cdots & {\alpha }_n\end{array}\right]}^{\mathrm{T}}$$考虑下面非负定的标量乘积$$(\mathbf{B}\mathbf{\lambda }+\mathbf{A}\mathbf{\alpha }{)}^{\mathrm{T}}(\mathbf{B}\mathbf{\lambda }+\mathbf{A}\mathbf{\alpha })⩾0$$只有 $\mathbf{B}\mathbf{\lambda }+\mathbf{A}\mathbf{\alpha }=0$ 时，上式的等号才成立。
展开上式，可得
$${\mathbf{\lambda }}^{\mathrm{T}}{\mathbf{B}}^{\mathrm{T}}\mathbf{B}\mathbf{\lambda }+{\mathbf{\alpha }}^{\mathrm{T}}{\mathbf{A}}^{\mathrm{T}}\mathbf{B}\mathbf{\lambda }+{\mathbf{\lambda }}^{\mathrm{T}}{\mathbf{B}}^{\mathrm{T}}\mathbf{A}\mathbf{\alpha }+{\mathbf{\alpha }}^{\mathrm{T}}{\mathbf{A}}^{\mathrm{T}}\mathbf{A}\mathbf{\alpha }⩾0$$因为假定 $\mathbf{B}$ 是满秩的, 所以 ${\left({\mathbf{B}}^{\mathrm{T}}\mathbf{B}\right)}^{-1}$ 存在, 可将上式写成
$$\begin{array}{r}{\left[\mathbf{\lambda }+{\left({\mathbf{B}}^{\mathrm{T}}\mathbf{B}\right)}^{-1}{\mathbf{B}}^{\mathrm{T}}\mathbf{A}\mathbf{\alpha }\right]}^{\mathrm{T}}{\mathbf{B}}^{\mathrm{T}}\mathbf{B}\left[\mathbf{\lambda }+{\left({\mathbf{B}}^{\mathrm{T}}\mathbf{B}\right)}^{-1}{\mathbf{B}}^{\mathrm{T}}\mathbf{A}\mathbf{\alpha }\right]+{\mathbf{\alpha }}^{\mathrm{T}}\left[{\mathbf{A}}^{\mathrm{T}}\mathbf{A}-{\left({\mathbf{A}}^{\mathrm{T}}\mathbf{B}\right)}^{\mathrm{T}}{\left({\mathbf{B}}^{\mathrm{T}}\mathbf{B}\right)}^{-1}\left({\mathbf{B}}^{\mathrm{T}}\mathbf{A}\right)\right]\mathbf{\alpha }⩾0\end{array}$$
上式对于任意 $\lambda$ 与 $\mathbf{\alpha }$ 都成立。选 $\lambda$ 为
$$\mathbf{\lambda }=-{\left({\mathbf{B}}^{\mathrm{T}}\mathbf{B}\right)}^{-1}{\mathbf{B}}^{\mathrm{T}}\mathbf{A}\mathbf{\alpha }$$
则上式变成 $${\mathbf{\alpha }}^{\mathrm{T}}\left[{\mathbf{A}}^{\mathrm{T}}\mathbf{A}-{\left({\mathbf{A}}^{\mathrm{T}}\mathbf{B}\right)}^{\mathrm{T}}{\left({\mathbf{B}}^{\mathrm{T}}\mathbf{B}\right)}^{-1}\left({\mathbf{B}}^{\mathrm{T}}\mathbf{A}\right)\right]\mathbf{\alpha }⩾0$$因为 $\mathbf{\alpha }$ 是任意的，只有当 $$\left[{\mathbf{A}}^{\mathrm{T}}\mathbf{A}-{\left({\mathbf{A}}^{\mathrm{T}}\mathbf{B}\right)}^{\mathrm{T}}{\left({\mathbf{B}}^{\mathrm{T}}\mathbf{B}\right)}^{-1}\left({\mathbf{B}}^{\mathrm{T}}\mathbf{A}\right)\right]$$ 是非负定时，这个二次型才是非负定的, 因此有式
$${\mathbf{A}}^{\mathrm{T}}\mathbf{A}⩾{\left({\mathbf{A}}^{\mathrm{T}}\mathbf{B}\right)}^{\mathrm{T}}{\left({\mathbf{B}}^{\mathrm{T}}\mathbf{B}\right)}^{-1}\left({\mathbf{B}}^{\mathrm{T}}\mathbf{A}\right)$$证毕。