矩阵论（五）：矩阵的正定性

矩阵论专栏：专栏（文章按照顺序排序）

矩阵的正定性是矩阵理论的基础，在机器学习的很多算法中都有它的身影。正定矩阵是很基础的工具，当涉及到诸如协方差矩阵、海森矩阵、不等式时就可能会用到正定性。另外，控制理论、凸优化理论等有线性矩阵不等式的重要应用。研究矩阵正定性用特征值分解（谱分解）比较方便、自然，本文利用特征值分解探讨正定性的常用结论，并在个人能力范围内尽量做到全面、清晰。文中如有错误，欢迎留言更正。

参考资料：
线性代数基础知识系列：1、2、3、4、5
矩阵分解—从Schur分解、特征值分解EVD到奇异值分解SVD（下）
矩阵论（补充知识）：特征多项式的展开式

定理比较多，个人认为比较重要的结论/定理，都用加粗字体标出。文中定理5和定理25使用了摄动法，有点类似于物理学中的微扰法。当我们研究的某个函数是连续函数时，如果想知道该函数在某一个具体点处的性质，只要给自变量一个微小增量，在该点的“附近”论证性质成立，然后取极限证明该点处性质仍成立。

本文只研究Hermite矩阵/实对称矩阵的正定性。

---

• 矩阵的正定性及其性质
  • 实正定矩阵
  • 一些概念补充（合同、共轭相合、主子式、顺序主子式）
  • 正定、半正定、负定、半负定的定义
  • 判别矩阵正定性的充要条件
  • 其他常用的性质
• 矩阵的算数平方根
  • 存在性与唯一性
  • 推广：矩阵的有理数次幂
• 矩阵不等式
  • 定义与理解
  • 基本性质
  • 其他常用性质
  • 常用的矩阵不等式举例
    • Hermite矩阵的一个不等式
    • 分块矩阵的Schur补定理
• 矩阵不等式的一个应用：瑞利商与广义瑞利商

---

矩阵的正定性及其性质

复习实正定矩阵

• 定义：称关于n个变量$x_1,x_2,...,x_n\in R$的二次齐次实系数多项式函数$f(x_1,x_2,...,x_n)={\sum }_{i=1}^n{\sum }_{j=1}^n{a}_{ij}{x}_i{x}_j,a_{ij}=a_{ji}$为一个n元实二次型
• 定义：设有n元实二次型$f(x_1,x_2,...,x_n)={\sum }_{i=1}^n{\sum }_{j=1}^n{a}_{ij}{x}_i{x}_j,a_{ij}=a_{ji}$，令$x=(x_1,x_2,...,x_n{)}^T$，$A=(a_{ij}{)}_{n\times n}$，则该实二次型可被写成$f(x)=x^{T}Ax$，称实对称矩阵A为二次型$f(x)$的矩阵，A的秩为二次型$f(x)$的秩
• 定义：设$f(x)=x^{T}Ax$是一个n元实二次型，若对$\forall x\in R^n,x\ne 0$有$f(x)>0$，则称$f$为正定二次型，实对称矩阵A为正定矩阵

参照上面的定义，一个n阶实对称矩阵A和相应的二次型$x^{T}Ax$称为：
半正定的，若对$\forall x\in R^n,x\ne 0$有$x^{T}Ax⩾0$；
负定的，若对$\forall x\in R^n,x\ne 0$有$x^{T}Ax<0$；
半负定的，若对$\forall x\in R^n,x\ne 0$有$x^{T}Ax⩽0$；
不定的，若$x^{T}Ax$既能取到正值也能取到负值。

实数域下正定矩阵的结论与复数域下正定矩阵的结论是一致的，下面直接讨论复数域下的结论。

一些概念补充

• 合同：设A，B为n阶实矩阵，若存在n阶可逆实矩阵P使得$P^{T}AP=B$，则称A与B合同（或A合同于B），记为$A\simeq B$，并称A到$P^{T}AP$的变换为合同变换
• 共轭相合（也简称相合）：设$A,B\in C^{n\times n}$，若存在$P\in C_n^{n\times n}$使得$P^{H}AP=B$，则称A共轭相合于B，或A与B共轭相合

实数域下的合同可以看做是复数域下的共轭相合的特例。

• 主子式：设$A=(a_{ij}{)}_{n\times n}$，$1⩽i_1<i_2<\cdots <i_k⩽n$，称$$A\left(\begin{array}{cccc}{i}_1& i_2& \cdots & i_k\\ i_1& i_2& \cdots & i_k\end{array}\right)=\left[\begin{array}{cccc}{a}_{i_1{i}_1}& a_{i_1{i}_2}& \cdots & a_{i_1{i}_k}\\ a_{i_2{i}_1}& a_{i_2{i}_2}& \cdots & a_{i_2{i}_k}\\ \cdots & \cdots & \cdots & \cdots \\ a_{i_k{i}_1}& a_{i_k{i}_2}& \cdots & a_{i_k{i}_k}\end{array}\right]$$为A的一个k阶主子矩阵，其行列式为A的k阶主子式
  【注】符号$A\left(\begin{array}{cccc}{i}_1& i_2& \cdots & i_k\\ i_1& i_2& \cdots & i_k\end{array}\right)$大括号内的第一行是A的若干行指标（索引），第二行是A的若干列指标（索引），这个符号的整体意思就是取A的第$i_1,i_2,\cdots ,i_k$行，与相应的第$i_1,i_2,\cdots ,i_k$列，这些行和列交叉位置的元素按照原本的位置关系排列成的新矩阵。这个矩阵是A的子矩阵之一，因为行指标和列指标相同，所以称为主子矩阵。
• 顺序主子式：设$A=(a_{ij}{)}_{n\times n}$，称主子矩阵$A\left(\begin{array}{cccc}1& 2& \cdots & k\\ 1& 2& \cdots & k\end{array}\right),k⩽n$的行列式为A的k阶顺序主子式

正定、半正定、负定、半负定的定义

注意到对于一共轭对称矩阵$A\in C^{n\times n}$以及$x\in C^n$，$(x^{H}Ax{)}^H=x^H{A}^{H}x=x^{H}Ax$，即$\overline{x^{H}Ax}=x^{H}Ax$，故$x^{H}Ax$是实数。因而实数域下正定性的概念可直接推广到复数域上来（实数域下正定性是用$x^{T}Ax>0$定义的，那么复数域下正定性用$x^{H}Ax>0$来定义）：

• 定义：称关于n个变量$x_1,x_2,...,x_n\in C$的二次齐次复系数多项式函数$f(x_1,x_2,...,x_n)={\sum }_{i=1}^n{\sum }_{j=1}^n{a}_{ij}\overline{x_i}{x}_j$，满足$\overline{a_{ij}}=a_{ji}$，为一个n元Hermite二次型
• 定义：设有n元二次型$f(x_1,x_2,...,x_n)={\sum }_{i=1}^n{\sum }_{j=1}^n{a}_{ij}\overline{x_i}{x}_j,\overline{a_{ij}}=a_{ji}$，令$x=(x_1,x_2,...,x_n{)}^T$，$A=(a_{ij}{)}_{n\times n}$，则该二次型可被写成$f(x)=x^{H}Ax$，称Hermite矩阵A为Hermite二次型$f(x)$的矩阵，A的秩为Hermite二次型$f(x)$的秩
• 定义：设$f(x)=x^{H}Ax$是一个n元Hermite二次型，若对$\forall x\in C^n,x\ne 0$有$f(x)>0$，则称$f$为正定Hermite二次型，Hermite矩阵A为正定矩阵

参照上面的定义，一个n阶共轭对称矩阵A和相应的二次型$x^{H}Ax$称为：
半正定的，若对$\forall x\in C^n,x\ne 0$有$x^{H}Ax⩾0$；
负定的，若对$\forall x\in C^n,x\ne 0$有$x^{H}Ax<0$；
半负定的，若对$\forall x\in C^n,x\ne 0$有$x^{H}Ax⩽0$；
不定的，若$x^{H}Ax$既能取到正值也能取到负值。

一般而言，除了一些特别简单的矩阵（如单位矩阵、对角矩阵）以外，很难根据定义来判别一个Hermite矩阵的正定性。例如，如果要在计算机上识别Hermite矩阵$A$的正定性，那么仅仅根据定义是无法实现的，因为计算机不可能遍历$C^n$中的所有向量$x$来判断$x^{H}Ax$的正负情况。因此以下判别矩阵正定性的充要条件是非常重要的。

判别矩阵正定性的充要条件

对于正定矩阵和半正定矩阵的判定稍微有些差异，下面的结论会将正定矩阵和半正定矩阵分开说明。因为$A$正定等价于$-A$负定，$A$半正定等价于$-A$半负定，所以（半）负定矩阵的等价条件可由相应的（半）正定矩阵的等价条件得到，本文略去。

以下均设$A,B\in C^{n\times n}$，A,B均为共轭对称矩阵（Hermite矩阵）。

【特征值判定】
特征值判定是Hermite矩阵正定性最重要的一种判别方法，能够将正定性的判别问题转换成特征值正负的判断，由于特征值是有限个，且有成熟的数值算法，因此这是十分有效的一种方法。
需要指出的是，$A$的特征值均为实数，否则$A$的特征值的正负便无从谈起。证明很简单：设$\lambda$是A的任意一个特征值，$x$是对应的特征向量，则$Ax=\lambda x,x\ne 0$，$x^{H}Ax=x^H\lambda x=\lambda ||x|{|}_2^2$，前面已经提到$x^{H}Ax$是实数，因此$\lambda =\frac{x^{H}Ax}{||x|{|}_2^2}$也是实数。

• 定理1：A正定的充要条件为A的特征值都大于零
  证明：
  必要性：设$Ax=\lambda x,x\ne 0$，即$\lambda$是A的任意一个特征值，$x$是对应的特征向量，则$0<x^{H}Ax=x^H\lambda x=\lambda ||x|{|}_2^2$，因为$||x|{|}_2>0$，所以$\lambda >0$。
  充分性：设A的一个谱分解为$A=U\Sigma U^H$，其中$U=\left[\begin{array}{cccc}{u}_1& u_2& \cdots & u_n\end{array}\right]$，$\Sigma =diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$，则$\forall x\ne 0,U^{H}x\ne 0,x^{H}Ax=(U^{H}x{)}^H\Sigma (U^{H}x)={\sum }_{i=1}^n{\lambda }_i|u_i^{H}x{|}^2>0$，故A正定。
  【推论】若A正定，根据A的行列式等于A的特征值之积，有$det(A)>0$，故A可逆
• 定理2：A半正定的充要条件为A的特征值都非负
  证明：与上同理。

【顺序主子式、主子式判定】

• 定理3：A正定的充要条件为A的所有顺序主子式都大于零
  证明：
  必要性：对任意$0\ne x_k\in C^k$,有$x=\left[\begin{array}{c}{x}_k\\ 0_{n-k}\end{array}\right]\ne 0$$,x^{H}Ax=x_k^{H}A\left(\begin{array}{cccc}1& 2& \cdots & k\\ 1& 2& \cdots & k\end{array}\right)x_k>0$，故$A\left(\begin{array}{cccc}1& 2& \cdots & k\\ 1& 2& \cdots & k\end{array}\right)$正定，其行列式大于零，即A的顺序主子式大于零。
  充分性：思路是从二次型着手，使用数学归纳法，对n进行归纳（n为A的阶数）。
  当$n=1$时，显然结论成立。假定结论对n-1成立，现证明结论对n也成立：
  设A的Hermite二次型为$f(x)=x^{H}Ax={\sum }_{i=1}^n{\sum }_{j=1}^n{a}_{ij}{\overline{x}}_i{x}_j,0\ne x\in C^n$，由已知$a_{ij}$与$a_{ji}$互为共轭，且$a_{11}>0$，故可将$f(x)$写成如下形式：$$f(x)=\frac{1}{a_{11}}\sum _{i=1}^n{\overline{a}}_{1i}{\overline{x}}_i\sum _{j=1}^n{a}_{1j}{x}_j+\sum _{i=2}^n\sum _{j=2}^n{b}_{ij}{\overline{x}}_i{x}_j$$其中$b_{ij}=a_{ij}-\frac{1}{a_{11}}{\overline{a}}_{1i}{a}_{1j}$，满足${\overline{b}}_{ij}=b_{ji}$。记$g(x)=\frac{1}{a_{11}}{\sum }_{i=1}^n{\overline{a}}_{1i}{\overline{x}}_i{\sum }_{j=1}^n{a}_{1j}{x}_j=\frac{1}{a_{11}}|{\sum }_{j=1}^n{a}_{1j}{x}_j{|}^2⩾0$。当$x_1\ne 0$且$x_2=x_3=...=x_n=0$时，$f(x)=g(x)=\frac{|a_{11}{x}_1{|}^2}{a_{11}}>0$。如果能够证明当$x_2,x_3,...,x_n$不全为零时，二次型$f(x)-g(x)={\sum }_{i=2}^n{\sum }_{j=2}^n{b}_{ij}{\overline{x}}_i{x}_j>0$，此时就有$f(x)=g(x)+(f(x)-g(x))⩾f(x)-g(x)>0$。这样的话$\forall x\ne 0$，都有$f(x)>0$，于是结论便成立。
  现在证明当$x_2,x_3,...,x_n$不全为零时，$f(x)-g(x)>0$。考虑对A的任意k阶顺序主子式进行如下变换：
  
  由已知${\Delta }_k>0$，$a_{11}>0$，因此
  
  也就是说，Hermite二次型${\sum }_{i=2}^n{\sum }_{j=2}^n{b}_{ij}{\overline{x}}_i{x}_j$的矩阵（是n-1阶的）的任意顺序主子式均为正。由归纳假设知二次型${\sum }_{i=2}^n{\sum }_{j=2}^n{b}_{ij}{\overline{x}}_i{x}_j$是正定的，故当$x_2,x_3,...,x_n$不全为零时，${\sum }_{i=2}^n{\sum }_{j=2}^n{b}_{ij}{\overline{x}}_i{x}_j>0$。得证。

• 定理4：A正定的充要条件为A的所有主子式都大于零
  证明：
  必要性：设$1⩽i_1<i_2<\cdots <i_k⩽n$， Π = { i 1 , i 2 , . . . , i k } \Pi = \{i_1,i_2,...,i_k\} Π={i1​,i2​,...,ik​}，对任意$0\ne y\in C^k$，构造$x\in C^n$，其分量$x_j$满足若$j\notin \Pi$，$x_j=0$，若$j\in \Pi$，$x_j=y_d$，其中$j=i_d$，$1⩽d⩽k$。则$x^{H}Ax=y^{H}A\left(\begin{array}{cccc}{i}_1& i_2& \cdots & i_k\\ i_1& i_2& \cdots & i_k\end{array}\right)y>0$，故$A\left(\begin{array}{cccc}{i}_1& i_2& \cdots & i_k\\ i_1& i_2& \cdots & i_k\end{array}\right)$正定，其行列式大于零，即A的主子式大于零。
  充分性：A的所有主子式大于零，故A的所有顺序主子式大于零，由定理3便知A正定。

• 定理5：A半正定的充要条件为A的所有主子式都非负
  证明：
  必要性：与上同理。
  充分性：使用摄动法。任取$k=1,2,...,n$，设$A_k=A\left(\begin{array}{cccc}1& 2& \cdots & k\\ 1& 2& \cdots & k\end{array}\right)$，由已知$A_k$的所有主子式非负（注意$A_k$的主子式都是$A$的主子式）。$\forall t>0$，$det(tI+A_k)=t^k+p_1{t}^{k-1}+p_2{t}^{k-2}+...+p_{k-1}t+p_k$，其中系数$p_i(i=1,2,...,k)$是$A_k$的所有$i$阶主子式之和，有$p_i⩾0$，故$det(tI+A_k)⩾t^k>0$。也就是说$tI+A$的所有顺序主子式大于零，于是根据定理3知道$tI+A$正定。$\forall 0\ne x\in C^n,x^H(tI+A)x>0$，令$t\to 0^{+}$就有$x^{H}Ax⩾0$，故A半正定。
  【注1】A的全部顺序主子式非负并不能保证A是半正定的，例如如下反例：$$A=\left[\begin{array}{cccc}0& 0& 0& 1\\ 0& 0& 1& 0\\ 0& 1& 0& 0\\ 1& 0& 0& 0\end{array}\right]$$其各阶顺序主子式分别为0，0，0，1，但存在$x=(1,0,0,-1{)}^T$，有$x^{T}Ax=-2<0$，故A不是半正定的。
  【注2】证明中用到了$det(tI+A_k)$的展开式，展开式的证明可参考矩阵论（补充知识）：特征多项式的展开式。

【从共轭相合的角度判定】

• 定理6：若A与B相合，则A正定等价于B正定
  证明：
  由相合的定义，存在可逆矩阵P使得$B=P^{H}AP$，若A正定，则$\forall x\ne 0,Px\ne 0,x^{H}Bx=(Px{)}^{H}A(Px)>0$，故B正定。同理可证若B正定，则A正定。
• 定理7：若A与B相合，则A半正定等价于B半正定
  证明：同上。
• 定理8：A正定的充要条件为A与同阶单位阵相合
  证明：
  必要性：设A的一个谱分解为$A=U\Sigma U^H,\Sigma =diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$，则由A正定知${\lambda }_i>0,i=1,2,...,n$。设$P=U{\hat{\Sigma }}^{-1}$，其中$\hat{\Sigma }=diag(\sqrt{{\lambda }_1},\sqrt{{\lambda }_2},\cdots ,\sqrt{{\lambda }_n})$，则P可逆，且$A=(P{P}^H{)}^{-1}$，$P^{H}AP=I$，故A与同阶单位阵I相合。
  充分性：若A与同阶单位阵I相合，则存在可逆矩阵P使得$P^{H}AP=I$，即$A=(P^{-1}{)}^H{P}^{-1}$，对$\forall x\ne 0$，$P^{-1}x\ne 0$，$x^{H}Ax=(P^{-1}x{)}^H(P^{-1}x)=||P^{-1}x|{|}_2^2>0$，故A正定。
• 定理9：A半正定的充要条件为A与$\left[\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right]$相合，其中$r=r(A)$
  证明：
  必要性：设A的一个谱分解为$A=U\Sigma U^H,\Sigma =diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_r,0,\cdots ,0)$，${\lambda }_i>0,i=1,2,...,r$。设$P=U{\Lambda }^{-1}$，其中$\Lambda =diag(\sqrt{{\lambda }_1},\sqrt{{\lambda }_2},\cdots ,\sqrt{{\lambda }_r},1,...,1)$，则P可逆，且$A=(P^H{)}^{-1}\left[\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right]P^{-1}$，$P^{H}AP=\left[\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right]$，故A与$\left[\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right]$相合。
  充分性：若A与$\left[\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right]$相合，则存在可逆矩阵P使得$P^{H}AP=\left[\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right]$，即$A=(P^{-1}{)}^H\left[\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right]P^{-1}$，对$\forall x\ne 0$，$P^{-1}x\ne 0$，$x^{H}Ax=(P^{-1}x{)}^H\left[\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right](P^{-1}x)={\sum }_{i=1}^r|(P^{-1}x{)}_i{|}^2⩾0$，其中$(P^{-1}x{)}_i$表示向量$P^{-1}x$的第$i$个分量，故A半正定。

【其他充要条件】

• 定理10：A正定的充要条件为存在同阶可逆矩阵C使得$A=C^{H}C$
  证明：显然这是定理8一个等价表述。
• 定理11：A半正定的充要条件为存在秩为$r(A)$的同阶方阵C，使得$A=C^{H}C$成立
  证明：
  必要性：设A的一个谱分解为$A=U\Sigma U^H,\Sigma =diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_r,0,...,0),{\lambda }_i>0,i=1,2,...,r,r=r(A)$。设$C=(U\hat{\Sigma }{)}^H$，其中$\hat{\Sigma }=diag(\sqrt{{\lambda }_1},\sqrt{{\lambda }_2},\cdots ,\sqrt{{\lambda }_r},0,..,0)$，则$r(C)=r(A)$，且$A=C^{H}C$。
  充分性：若$A=C^{H}C$，则$\forall x\ne 0$，$x^{H}Ax=(Cx{)}^H(Cx)=||Cx|{|}_2^2⩾0$，故A半正定。
• 定理12：A正定的充要条件为存在列满秩矩阵P使得$A=P^{H}P$
  必要性：与上同理。
  充分性：若$A=P^{H}P$，则$\forall x\ne 0$，由P列满秩知$Px\ne 0$（否则由P列满秩知其左伪逆$L=(P^{H}P{)}^{-1}{P}^H$存在，$Px=0\Rightarrow x=LPx=0$，矛盾），$x^{H}Ax=(Px{)}^H(Px)=||Px|{|}_2^2>0$，故A正定。
• 定理13：A半正定的充要条件为存在秩为$r(A)$的矩阵P，使得$A=P^{H}P$成立
  证明：与上同理。
• 定理14：A正定的充要条件为存在同阶正定矩阵C使得$A=C^2$
  证明：
  必要性：设A的一个谱分解为$A=U\Sigma U^H,\Sigma =diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$，则由A正定知${\lambda }_i>0,i=1,2,...,n$。设$C=U\hat{\Sigma }{U}^H$，其中$\hat{\Sigma }=diag(\sqrt{{\lambda }_1},\sqrt{{\lambda }_2},\cdots ,\sqrt{{\lambda }_n})$，则由C共轭对称且特征值都大于零知C是正定矩阵，且验证可知$A=C^2$成立。
  充分性：若$A=C^2$，由C正定知C可逆，故$\forall x\ne 0$，有$Cx\ne 0$，$x^{H}Ax=x^{H}CCx=x^H{C}^{H}Cx=||Cx|{|}_2^2>0$，故A正定。
• 定理15：A半正定的充要条件为存在同阶半正定矩阵C使得$A=C^2$
  证明：与上同理。
• 定理16：A正定的充要条件为存在同阶可逆的Hermite矩阵C使得$A=C^2$
  证明：与上同理。
• 定理17：A半正定的充要条件为存在同阶Hermite矩阵C使得$A=C^2$
  证明：与上同理。

其他性质

以下均设$A,B\in C^{n\times n}$，A,B均为共轭对称矩阵（Hermite矩阵）。

• 定理18：
  （1）若A正定，则$P^{H}AP$正定的充要条件为P列满秩
  证明：
  因A正定，根据定理10知存在可逆矩阵C使得$A=C^{H}C$。
  必要性：由$P^{H}AP=(CP{)}^H(CP)$正定知$(CP{)}^H(CP)$满秩，而$r(CP)=r((CP{)}^H(CP))$，所以$CP$列满秩，所以P列满秩。
  充分性：由P列满秩知$CP$列满秩，故存在列满秩矩阵$CP$使得$P^{H}AP=(CP{)}^H(CP)$，由定理12知$P^{H}AP$正定。
  （2）若A半正定，则$P^{H}AP$半正定，其中矩阵P任取
  证明：
  因A半正定，根据定理11知存在方阵C使得$A=C^{H}C$，$P^{H}AP=(CP{)}^H(CP)$。$\forall x\in C^n,x^H{P}^{H}APx=||CPx|{|}_2^2⩾0$，故$P^{H}AP$半正定。

• 定理19：
  （1）若A正定，则A的主对角元均为正实数
  证明：对$i=1,2...,n$，取单位矩阵的第$i$列$e_i$，有$e_i^{H}A{e}_i=a_{ii}>0$。
  【注】实际上，A的主对角元都是A的主子式，故定理4蕴含了A的主对角元都大于零这一事实。
  （2）若A半正定，则A的主对角元均为非负实数
  证明：与上同理。

• 定理20：（用定义验证即可）
  （1）若A正定，常数$k>0$，则$kA$正定
  （2）若A半正定，常数$k⩾0$，则$kA$半正定

• 定理21：（用定义验证即可）
  （1）若A，B均正定，则$A+B$正定
  （2）若A正定，B半正定，则$A+B$正定
  （3）若A，B均半正定，则$A+B$半正定

• 定理22：
  （1）若A正定，则$A^{-1}$也正定
  证明：因为A是Hermite的，所以$A^{-1}$也是Hermite的。$\forall x\ne 0$，有$A^{-1}x\ne 0,x^H{A}^{-1}x=x^H{A}^{-1}A{A}^{-1}x=(A^{-1}x{)}^{H}A(A^{-1}x)>0$，故$A^{-1}$正定。
  （2）若A半正定，则$A^{+}$也半正定，其中$A^{+}$是$A$的Penrose-Moore逆
  证明：设A的一个谱分解为$A=U\Sigma U^H,\Sigma =diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_r,0,...,0),{\lambda }_i>0,i=1,2,...,r$，易验证$A^{+}=U{\Sigma }^{+}{U}^H$，其中${\Sigma }^{+}=diag({\lambda }_1^{-1},{\lambda }_2^{-1},\cdots ,{\lambda }_r^{-1},0,...,0)$，可见$A^{+}$是特征值均非负的Hermite矩阵，故$A^{+}$半正定。

• 定理23：
  （1）$A\in C^{n\times n}$、$B\in C^{m\times m}$均正定的充要条件为$\left[\begin{array}{cc}A& O\\ O& B\end{array}\right]$正定
  证明：
  必要性：$\left[\begin{array}{cc}A& O\\ O& B\end{array}\right]$显然Hermite。$\forall 0\ne z\in C^{n+m},z=\left[\begin{array}{c}x\\ y\end{array}\right]$，$x\in C^n,y\in C^m$，则$x,y$至少有一个不为零，故$z^H\left[\begin{array}{cc}A& O\\ O& B\end{array}\right]z=x^{H}Ax+y^{H}By>0$，故$\left[\begin{array}{cc}A& O\\ O& B\end{array}\right]$正定。
  充分性：设$P=\left[\begin{array}{c}I\\ O\end{array}\right]$，显然P列满秩，于是由定理18知$A=P^H\left[\begin{array}{cc}A& O\\ O& B\end{array}\right]P$正定。同理，设$Q=\left[\begin{array}{c}O\\ I\end{array}\right]$，Q列满秩，$B=Q^H\left[\begin{array}{cc}A& O\\ O& B\end{array}\right]Q$正定。
  （2）$A\in C^{n\times n}$、$B\in C^{m\times m}$均半正定的充要条件为$\left[\begin{array}{cc}A& O\\ O& B\end{array}\right]$半正定
  证明：
  必要性：$\left[\begin{array}{cc}A& O\\ O& B\end{array}\right]$显然Hermite。$z\in C^{n+m},z=\left[\begin{array}{c}x\\ y\end{array}\right]$，$x\in C^n,y\in C^m$，$z^H\left[\begin{array}{cc}A& O\\ O& B\end{array}\right]z=x^{H}Ax+y^{H}By⩾0$，故$\left[\begin{array}{cc}A& O\\ O& B\end{array}\right]$半正定。
  充分性：设$P=\left[\begin{array}{c}I\\ O\end{array}\right]$，故由定理18知$A=P^H\left[\begin{array}{cc}A& O\\ O& B\end{array}\right]P$半正定。同理，设$Q=\left[\begin{array}{c}O\\ I\end{array}\right]$，$B=Q^H\left[\begin{array}{cc}A& O\\ O& B\end{array}\right]Q$半正定。

• 定理24：
  （1）设A为一Hermite矩阵，存在$t\in R$，使得$\forall s>t$有$sI+A$正定
  证明：
  因A共轭对称，故可设A的一个谱分解为$A=U\Sigma U^H$，$\Sigma =diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n),{\lambda }_i$均为实数。$tI+A=U(tI+\Sigma )U^H$，故只要取 t = − m i n { λ 1 , λ 2 , . . . , λ n } t=-min\{\lambda_1,\lambda_2,...,\lambda_n\} t=−min{λ1​,λ2​,...,λn​}，$\forall s>t$，$sI+A$的特征值就都为正，故$sI+A$正定。
  （2）若A半正定，则$\forall s>0$，$sI+A$正定
  证明：在（1）的证明中取$t=0$即可。

• 定理25：
  （1）若A，B均正定，且$AB=BA$，则AB正定
  证明：
  由$(AB{)}^H=(BA{)}^H=A^H{B}^H=AB$知$AB$是共轭对称的。
  因A正定，由定理14知存在同阶正定矩阵C使得$A=C^2$，$C$可逆，$C^{-1}ABC=CBC$，即$AB$与$CBC$相似，故它们的特征值相同。由$CBC=C^{H}BC$，故$CBC$与$B$相合，由B正定及定理6知$CBC$正定，故$CBC$的特征值均为正，进而$AB$的特征值均为正，故$AB$正定。
  （2）若A正定，B半正定，且$AB=BA$，则AB半正定
  证明：与上同理。
  （3）若A，B均半正定，且$AB=BA$，则AB半正定
  证明：使用摄动法。
  由$(AB{)}^H=(BA{)}^H=A^H{B}^H=AB$知$AB$是共轭对称的。
  $\forall t>0$，$tI+A$正定，又$(tI+A)B=B(tI+A)$，故由（2）知$(tI+A)B$半正定。故$\forall x\in C^n,x^H(tI+A)Bx⩾0$，即$t{x}^{H}Bx+x^{H}ABx⩾0,\forall t>0$。令$t\to 0^{+}$就有$x^{H}ABx⩾0$。注意到$x$是任取的，故$AB$半正定。

---

矩阵的算数平方根

存在性与唯一性

那天看到二次范数的概念：设$P$正定，$||x|{|}_P=||P^{-\frac{1}{2}}x|{|}_2$，很好奇这个$P^{-\frac{1}{2}}$是什么。在网上查了下资料，其实与非负实数的算数平方根是类似的。设$P^{-1}=Udiag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)U^H$，，则$C=Udiag(\sqrt{{\lambda }_1},\sqrt{{\lambda }_2},...,\sqrt{{\lambda }_n})U^H$满足$C^2=P^{-1}$（定理14的结论）。问题在于满足$C^2=P^{-1}$的C是否是唯一的？如果C不唯一，显然$P^{-\frac{1}{2}}$这样的表示是不合理的，因为会产生歧义。事实上，C是唯一的，下面就来看看为什么：

• 定义：设有n阶方阵A，若存在n阶方阵B使得$A=B^2$，则称B是A的一个平方根
• 定义：设有n阶半正定矩阵A，若存在n阶半正定矩阵B使得$A=B^2$，则称B是A的一个算数平方根
• 引理：设n阶共轭对称矩阵A，B有相同的特征值，且任取它们的一个特征值$\lambda$，A的特征子空间$N(\lambda I-A)$与B特征子空间$N(\lambda I-B)$相同，即$N(\lambda I-A)=N(\lambda I-B)$，那么$A=B$成立。
  证明：
  设A的一个谱分解为$A=P\Sigma P^H$，$\Sigma =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$，$P=\left[\begin{array}{cccc}{p}_1& p_2& \cdots & p_n\end{array}\right]$。根据已知条件，$P$的任意一列$p_i$也是$B$对应于${\lambda }_i$的特征向量。则$$\begin{array}{rl}{P}^{H}BP& =\left[\begin{array}{c}{p}_1^H\\ p_2^H\\ \cdots \\ p_n^H\end{array}\right]B\left[\begin{array}{cccc}{p}_1& p_2& \cdots & p_n\end{array}\right]\\ & =\left[\begin{array}{c}{p}_1^H\\ p_2^H\\ \cdots \\ p_n^H\end{array}\right]\left[\begin{array}{cccc}{\lambda }_1{p}_1& {\lambda }_2{p}_2& \cdots & {\lambda }_n{p}_n\end{array}\right]\\ & =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)\end{array}$$故$B=P\Sigma P^H=A$。
• 定理26：任意半正定矩阵A有唯一的算数平方根
  证明：
  存在性根据定理14得到。现证明唯一性：
  设有半正定矩阵B，C满足$A=B^2=C^2$。设B的谱分解为$B=P\Sigma P^H$，其中$\Sigma =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n),0⩽{\lambda }_1⩽{\lambda }_2⩽\cdots ⩽{\lambda }_n$。则$B^2=P{\Sigma }^2{P}^H=A$，这是A的一个谱分解，说明$\forall i=1,2,...,n$有$N({\lambda }_{i}I-B)=N({\lambda }_i^{2}I-A)$。同理，设C的谱分解为$C=Q\hat{\Sigma }{Q}^H$，其中$\hat{\Sigma }=diag({\hat{\lambda }}_1,{\hat{\lambda }}_2,...,{\hat{\lambda }}_n),0⩽{\hat{\lambda }}_1⩽{\hat{\lambda }}_2⩽\cdots ⩽{\hat{\lambda }}_n$。则$C^2=Q{\hat{\Sigma }}^2{Q}^H=A$，这是A的一个谱分解，说明$\forall i=1,2,...,n$有$N({\hat{\lambda }}_{i}I-C)=N({\hat{\lambda }}_i^{2}I-A)$。
  注意到${\Sigma }^2$和${\hat{\Sigma }}^2$的主对角线上都是将A的特征值从小到大排列，因此有${\Sigma }^2={\hat{\Sigma }}^2$，故$\forall i=1,2,...,n$有${\lambda }_i^2={\hat{\lambda }}_i^2$，即${\lambda }_i={\hat{\lambda }}_i$（注意，半正定矩阵的特征值非负）。结合前面的讨论，$\forall i=1,2,...,n$有$N({\lambda }_{i}I-B)=N({\lambda }_i^{2}I-A)=N({\hat{\lambda }}_i^{2}I-A)=N({\hat{\lambda }}_{i}I-C)$，于是根据引理的结论必有$B=C$。

由算数平方根的存在性与唯一性，我们可以引入记号$A^{\frac{1}{2}}$（或$\sqrt{A}$）表示半正定矩阵A的算数平方根。

• 推论：任意正定矩阵A有唯一的算数平方根$A^{\frac{1}{2}}$，且$A^{\frac{1}{2}}$是正定的

推广：矩阵的有理数次幂

对上述结论稍作推广，使用完全相同的证明方式就可以得到如下结论：

• 定理27：设有n阶（半）正定矩阵$A$，对任意正整数$k$，存在唯一的（半）正定矩阵$B$使得$A=B^k$，记作$B=A^{\frac{1}{k}}$

这说明半正定矩阵可以开任意正整数次方。再进一步，我们很容易据此定义出半正定矩阵的任意正有理数次方：设$\alpha =\frac{p}{q}>0$为有理数，其中$p,q$为互质正整数，则半正定矩阵$A$的$\alpha$次方$A^{\alpha }$定义为$A^{\alpha }=(A^p{)}^{\frac{1}{q}}$。注意$(A^{\frac{1}{q}}{)}^{pq}=((A^{\frac{1}{q}}{)}^q{)}^p=A^p$，两边同时开$q$次方就有$(A^{\frac{1}{q}}{)}^p=(A^p{)}^{\frac{1}{q}}$，因此$A^{\alpha }=(A^p{)}^{\frac{1}{q}}=(A^{\frac{1}{q}}{)}^p$。
可以验证半正定矩阵的正有理数次幂运算有如下运算律：（以下设$A$和$B$是同阶半正定矩阵，$\alpha ,\beta >0$是正有理数）

• $A^{\alpha +\beta }=A^{\alpha }{A}^{\beta }$
• $A^{\alpha \beta }=(A^{\alpha }{)}^{\beta }=(A^{\beta }{)}^{\alpha }$
• $(UA{U}^H{)}^{\alpha }=U{A}^{\alpha }{U}^H$，其中$U$是与$A$同阶的酋矩阵

如果$A$和$B$可交换（即满足$AB=BA$），根据一些深入的分析可以知道$A$和$B$可以同时酋对角化（关于这一点可以参考Roger A Horn的《矩阵分析》），于是有如下运算律

• $(AB{)}^{\alpha }=A^{\alpha }{B}^{\alpha }$
  【注】这里简要地证明一下：设$A,B$的谱分解为$A=U{\Sigma }_1{U}^H,B=U{\Sigma }_2{U}^H$，则$(AB{)}^{\alpha }=(U{\Sigma }_1{\Sigma }_2{U}^H{)}^{\alpha }=U({\Sigma }_1{\Sigma }_2{)}^{\alpha }{U}^H=U{\Sigma }_1^{\alpha }{\Sigma }_2^{\alpha }{U}^H=(U{\Sigma }_1^{\alpha }{U}^H)(U{\Sigma }_2^{\alpha }{U}^H)=(U{\Sigma }_1{U}^H{)}^{\alpha }(U{\Sigma }_2{U}^H{)}^{\alpha }=A^{\alpha }{B}^{\alpha }$

如果$A$正定，根据定理22知$A^{-1}$也正定，于是可以推广到正定矩阵的任意有理数次幂：

• 当有理数$\alpha >0$时，$A^{-\alpha }=(A^{-1}{)}^{\alpha }$

可见半正定矩阵的有理数次幂与实数的幂的性质十分相似。下面从另一个角度考虑Hermite矩阵与实数之间的关系。
实数之间是可以比大小的（实数集上的大小关系是一个全序关系），那我们自然要问，矩阵是否可以比大小？实际上，我们可以利用半正定矩阵可以定义出Hermite矩阵集合上的一个偏序关系，然而，这样定义出来的偏序关系并不是全序关系。也就是说，Hermite矩阵之间不一定能比大小，但如果两个Hermite矩阵可以比大小，那么它们之间的关系就很像两个实数之间的关系，就会有很多类似的性质。下面就介绍Hermite矩阵集上的这个偏序关系：线性矩阵不等式。

---

矩阵不等式

• 定义：设A,B为同阶共轭对称矩阵（Hermite矩阵），若$A-B$是正定的，则记$A>B$；若$A-B$是半正定的，则记$A⩾B$
  【注1】只要有$>$和$⩾$就够了，不过也可以引入$<$和$⩽$
  【注2】依照上面的定义，Hernite矩阵A正定就是$A>O$，Hermite矩阵半正定就是$A⩾O$
  【注3】$⩾$满足自反性、反对称性以及传递性（见下文），因此根据偏序关系的定义（参考链接），$⩾$定义了Hermite矩阵集上的一个偏序关系。

以下均设A，B，C，D为同阶Hermite矩阵。
【注】类比实数比大小的性质，下面的性质就比较直观了。

• 基本性质（以下只讨论$⩾$，$>$的讨论是类似的）
  • 自反性：$A⩾A$
    （这是因为$A-A=O$是半正定的）
  • 反对称性：若$A⩾B$且$B⩾A$，则$A=B$
    证：
    由已知$A-B$既半正定又半负定，它的任意特征值既不小于零又不大于零，只能为零。$A-B$是Hermite矩阵，可作谱分解$A-B=U\Sigma U^H$，对角阵$\Sigma$对角线上全为零，故$A-B=O$，$A=B$。
  • 传递性：若$A⩾B$，$B⩾C$，则$A⩾C$
    证：
    由已知$A-B$和$B-C$半正定，于是$\forall x\ne 0$有$x^H(A-B)x⩾0$且$x^H(B-C)x⩾0$，$x^H(A-C)x=x^H(A-B)x+x^H(B-C)x⩾0$，故$A⩾C$。
  • 线性性：若$A⩾B$，实数$k⩾0$，则$kA⩾kB$
  • 可加性：若$A⩾B$，$C⩾D$，则$A+C⩾B+D$
    证明：
    由已知$A-B,C-D$半正定，故$(A+C)-(B+D)=(A-B)+(C-D)$半正定，即$A+C⩾B+D$。
• 其他常用性质
  • 定理28：
    （1）设$P$列满秩，则$A>B⟺P^{H}AP>P^{H}BP$
    证明：根据定理18可得。
    （2）若$A⩾B$，则任意矩阵P有$P^{H}AP⩾P^{H}BP$
    证明：根据定理18可得。
    （3）设有可逆矩阵$P$，则$A>B(A⩾B)$的充要条件为$P^{H}AP>P^{H}BP(P^{H}AP⩾P^{H}BP)$
    证明：根据定理6和定理7可得。
  • 定理29：
    （1）若$A>B>O$且$AB=BA$，则$A^2>B^2$
    证明：
    因$AB=BA$，故$A^2-B^2=(A-B)(A+B)=(A+B)(A-B)$。由$A>B>O$得$A-B>O,A+B>O$，根据定理25知$A^2-B^2=(A-B)(A+B)>O$。
    （2）若$A⩾B>O$且$AB=BA$，则$A^2⩾B^2$。
    证明：
    因$AB=BA$，故$A^2-B^2=(A-B)(A+B)=(A+B)(A-B)$。由$A⩾B>O$得$A-B⩾O,A+B>O$，根据定理25知$A^2-B^2=(A-B)(A+B)⩾O$。
    （3）若$A>B⩾O$且$AB=BA$，则$A^2⩾B^2$
    证明：与上同理。
    （4）若$A⩾B⩾O$且$AB=BA$，则$A^2⩾B^2$
    证明：与上同理。
  • 引理：若$B>O$，则存在可逆矩阵$P$使得$P^{H}BP=I,P^{H}AP=\Sigma$，其中$\Sigma$为对角阵
    证明：
    由定理8知，存在可逆矩阵$C$使得$C^{H}BC=I$。考虑Hermite矩阵$C^{H}AC$的一个谱分解$C^{H}AC=Q\Sigma Q^H$，令$P=CQ$，则有$P^{H}BP=Q^H(C^{H}BC)Q=I,P^{H}AP=Q^H(C^{H}AC)Q=\Sigma$。得证。
    【注】$\Sigma$的对角元实际上是广义特征值问题$Ax=\lambda Bx$的特征值。广义特征值这里不做介绍，感兴趣的读者可参考维基百科。
  • 定理30：
    （1）若$A>B>O$，则$B^{-1}>A^{-1}$
    证明：
    由引理知，存在一可逆矩阵$R$使得$R^{H}AR=\Sigma ,R^{H}BR=I$，其中$\Sigma =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$。
    由$A>B$以及定理28知，$R^H(A-B)R=\Sigma -I>O$。对角矩阵$\Sigma -I$的主对角元为正，故${\lambda }_i>1,i=1,2,...,n$，$1-{\lambda }_i^{-1}>0$，进而$I-{\Sigma }^{-1}>O$，$R(I-{\Sigma }^{-1})R^H=B^{-1}-A^{-1}>O$，即$B^{-1}>A^{-1}$。
    （2）若$A⩾B>O$，则$B^{-1}⩾A^{-1}$
    证明：与上同理。
  • 定理31：若$A⩾O,B>O$，$\rho (\bullet )$表示谱半径，则
    （1）$B>A$的充要条件为$\rho (A{B}^{-1})<1$
    （2）$B⩾A$的充要条件为$\rho (A{B}^{-1})⩽1$
    证明：只证（1），（2）的证明是同理的。
    由引理知，存在一可逆矩阵$R$使得$R^{H}AR=\Sigma ,R^{H}BR=I$，其中$\Sigma =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$。
    由定理28知$B>A⟺R^{H}BR>R^{H}AR⟺I>\Sigma ⟺\rho (\Sigma )<1$。计算可得$A{B}^{-1}=(R^H{)}^{-1}\Sigma R^H$，即$A{B}^{-1}$与$\Sigma$相似，有$\rho (A{B}^{-1})=\rho (\Sigma )$，故$B>A⟺\rho (A{B}^{-1})<1$。

常用的矩阵不等式举例

Hermite矩阵的一个不等式

• 定理32：对任意n阶Hermite矩阵$A$，有如下矩阵不等式成立：$${\lambda }_{min}I⩽A⩽{\lambda }_{max}I$$其中，${\lambda }_{min}$和${\lambda }_{max}$分别是$A$的最小特征值和最大特征值
  证明：
  对$A$作谱分解得$A=U\Sigma U^H$，其中$\Sigma =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$。注意到Hermite矩阵$A-{\lambda }_{min}I=U\Sigma U^H-{\lambda }_{min}I=U(\Sigma -{\lambda }_{min}I)U^H=Udiag({\lambda }_1-{\lambda }_{min},{\lambda }_2-{\lambda }_{min},...,{\lambda }_n-{\lambda }_{min})U^H$，其特征值均非负，故$A-{\lambda }_{min}I$是半正定的，即${\lambda }_{min}I⩽A$。同理可证$A⩽{\lambda }_{max}I$。

下面只是用这个结论解决一下自己在学习凸优化时的疑问，当做一个学习记录，读者可选择性地跳过这一段^_^。

用这个结论解决一下最近学习凸优化过程中遇到的一个问题：无约束凸优化问题的牛顿下降法的二次收敛阶段有一个关键不等式：
它的证明用到如下过程：
其中最后一个不等号让人百思不得其解。最后发现用矩阵不等式就可以得到。先给出牛顿法证明的前提条件：强凸性条件，即对于二阶连续可微的凸函数$f(x)$，其任意点处的Hessian矩阵满足${\nabla }^{2}f(x)⩾mI$，其中$m>0$是一个常数。利用矩阵不等式的结论对上述最后一个不等号进行分析：
由于${\nabla }^{2}f(x)⩾mI>O$，所以$O<({\nabla }^{2}f(x){)}^{-1}⩽\frac{1}{m}I$（定理30）。因为$({\nabla }^{2}f(x){)}^{-1}(mI)=(mI)({\nabla }^{2}f(x){)}^{-1}=m({\nabla }^{2}f(x){)}^{-1}$，所以$({\nabla }^{2}f(x){)}^{-2}⩽\frac{1}{m^2}I$（定理29）。于是$\nabla f(x{)}^T({\nabla }^{2}f(x){)}^{-2}\nabla f(x)⩽\nabla f(x{)}^T(\frac{1}{m^2}I)\nabla f(x)=\frac{1}{m^2}\nabla f(x{)}^T\nabla f(x)$（矩阵不等式的定义与半正定矩阵的定义），故最后一个不等号成立。

分块矩阵的Schur补定理

该定理在控制理论分析中有重要应用。不过没想到的是，第一次碰见这个定理是在上《复杂网络动力学》的时候~作为一个计算机系学生始终不知道为什么要上这种课。。。
证明需要用到分块矩阵的初等变换，也就是“矩阵打洞法”，不清楚的童鞋请参考链接中的初等变换部分。

• 定理33：设$A=\left[\begin{array}{cc}{R}_{11}& R_{12}\\ R_{21}& R_{22}\end{array}\right]\in C^{n\times n}$是一个Hermite矩阵，其中$R_{11}\in C^{m_1\times m_1}$，$R_{22}\in C^{m_2\times m_2}$，$R_{12}^H=R_{21}$，$m_1+m_2=n$。则有以下结论成立：
  （1）$A>O$的充要条件为$R_{11}>O$且$R_{22}-R_{12}^H{R}_{11}^{-1}{R}_{12}>O$
  （2）$A>O$的充要条件为$R_{22}>O$且$R_{11}-R_{12}^H{R}_{22}^{-1}{R}_{12}>O$
  证明：只证（1），（2）的证明是类似的。
  充分性：
  由$R_{11}$正定知$R_{11}$可逆，故可做如下初等变换：
  $A=\left[\begin{array}{cc}{R}_{11}& R_{12}\\ R_{12}^H& R_{22}\end{array}\right]\stackrel{\text{行变换}}{\to }\left[\begin{array}{cc}{R}_{11}& R_{12}\\ O& R_{22}-R_{12}^H{R}_{11}^{-1}{R}_{12}\end{array}\right]\stackrel{\text{列变换}}{\to }\left[\begin{array}{cc}{R}_{11}& O\\ O& R_{22}-R_{12}^H{R}_{11}^{-1}{R}_{12}\end{array}\right]$
  将上述初等变换用分块初等矩阵写出就是
  $\left[\begin{array}{cc}{I}_{m_1}& O\\ -R_{12}^H{R}_{11}^{-1}& I_{m_2}\end{array}\right]\left[\begin{array}{cc}{R}_{11}& R_{12}\\ R_{12}^H& R_{22}\end{array}\right]\left[\begin{array}{cc}{I}_{m_1}& -R_{11}^{-1}{R}_{12}\\ O& I_{m_2}\end{array}\right]=\left[\begin{array}{cc}{R}_{11}& O\\ O& R_{22}-R_{12}^H{R}_{11}^{-1}{R}_{12}\end{array}\right]$
  令$P=\left[\begin{array}{cc}{I}_{m_1}& -R_{11}^{-1}{R}_{12}\\ O& I_{m_2}\end{array}\right],S=R_{22}-R_{12}^H{R}_{11}^{-1}{R}_{12}$，则上式即为
  $$P^{H}AP=\left[\begin{array}{cc}{R}_{11}& O\\ O& S\end{array}\right]$$由已知及定理23知分块矩阵$P^{H}AP$是正定的，注意到$P$是可逆的，故由定理6知$A$是正定的。
  必要性：
  由$A$正定可知主子矩阵$R_{11}$正定（可参考定理3的必要性的证明），从而$R_{11}$可逆，上述初等变换仍成立。从而由定理23、定理6可知$S$是正定的，故$R_{11}$和$S$均正定。
  【注】$R_{22}-R_{12}^H{R}_{11}^{-1}{R}_{12}$称为子块$R_{11}$的Schur补，记作$A/R_{11}$。$R_{11}-R_{12}^H{R}_{22}^{-1}{R}_{12}$称为子块$R_{22}$的Schur补，记作$A/R_{22}$。

---

矩阵不等式的一个应用：瑞利商和广义瑞利商

最近看到LDA（线性判别分析）算法的推导中用到了瑞利商和广义瑞利商的概念，求它们的最大值或最小值的问题可以用矩阵不等式解决，恰好放在这里作为一个应用矩阵不等式和矩阵算数平方根的例子。

瑞丽商

• 定义：设有Hermite矩阵$A\in C^{n\times n}$和非零向量$x\in C^n$，$A$和$x$的瑞利商$R(A,x)$定义为：$$R(A,x)=\frac{x^{H}Ax}{x^{H}x}$$
  【注】实际中遇到的情形往往是实数域下的，$A$为实对称矩阵，这种情形只是我们接下来讨论的结论的一个特例。

接下来讨论给定Hermite矩阵$A$时，瑞利商的最大值和最小值。
前面提到了，对任意Hermite矩阵$A$，有矩阵不等式${\lambda }_{min}I⩽A⩽{\lambda }_{max}I$，其中，${\lambda }_{min}$和${\lambda }_{max}$分别是$A$的最小特征值和最大特征值。于是$${\lambda }_{min}=\frac{x^H({\lambda }_{min}I)x}{x^{H}x}⩽\frac{x^{H}Ax}{x^{H}x}⩽\frac{x^H({\lambda }_{max}I)x}{x^{H}x}={\lambda }_{max}$$容易验证当$x$取$A$对应于特征值${\lambda }_{min}$的一个特征向量时，瑞利商取得最小值${\lambda }_{min}$；同理当$x$取$A$对应于特征值${\lambda }_{max}$的一个特征向量时，瑞利商取得最大值${\lambda }_{max}$。

广义瑞丽商

• 定义：设有Hermite矩阵$A,B\in C^{n\times n}$和非零向量$x\in C^n$，$A,B$和$x$的广义瑞利商$R(A,B,x)$定义为：$$R(A,B,x)=\frac{x^{H}Ax}{x^{H}Bx}$$其中，$x^{H}Bx\ne 0$。

后文我们将分析得到如下结论：

• 结论：设Hermite矩阵$A,B\in C^{n\times n}$，其中$B$正定，则$${\lambda }_{min}⩽R(A,B,x)⩽{\lambda }_{max}$$其中${\lambda }_{min}$和${\lambda }_{max}$分别是$B^{-1}A$的最小特征值和最大特征值（也是$B^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}$的最小特征值和最大特征值）；
  当$x$取$B^{-1}A$对应于${\lambda }_{min}$的一个特征向量时，$R(A,B,x)$取得最小值${\lambda }_{min}$；
  当$x$取$B^{-1}A$对应于${\lambda }_{max}$的一个特征向量时，$R(A,B,x)$取得最大值${\lambda }_{max}$。

以下是分析过程。

根据定义，瑞利商可以视作广义瑞利商的一个特例（$B$取单位矩阵）。而广义瑞丽商的最值问题可以通过将广义瑞丽商转化为瑞丽商解决。
先将广义瑞丽商等价地写成$$R(A,B,x)=\frac{\frac{x^{H}Ax}{x^{H}x}}{\frac{x^{H}Bx}{x^{H}x}}$$分子和分母分别是一个瑞丽商。注意到分母$\frac{x^{H}Bx}{x^{H}x}$当$B$是不定矩阵时可能取到零，而分子$\frac{x^{H}Ax}{x^{H}x}$无论如何都是有界的（根据瑞丽商的结论），因此当$B$是不定矩阵时，$R(A,B,x)$可能取到正无穷或负无穷（即不存在最大值或最小值）。为使得$R(A,B,x)$有最大值和最小值，我们将$B$限定为正定矩阵或负定矩阵，以保证当$x\ne 0$时，$x^{H}Bx\ne 0$。
接下来只讨论$B$正定的情况，$B$负定的情形是类似的。
由前面矩阵算数平方根的结论知，$B$存在唯一的算数平方根$B^{\frac{1}{2}}$，且$B^{\frac{1}{2}}$是正定的。于是$R(A,B,x)$可以写成$$R(A,B,x)=\frac{x^{H}Ax}{x^H{B}^{\frac{1}{2}}{B}^{\frac{1}{2}}x}=\frac{x^{H}Ax}{x^H(B^{\frac{1}{2}}{)}^H{B}^{\frac{1}{2}}x}$$作变量代换$y=B^{\frac{1}{2}}x$，则$R(A,B,x)$可以写成$$R(A,B,x)=\frac{y^H(B^{-\frac{1}{2}}{)}^{H}A{B}^{-\frac{1}{2}}y}{y^{H}y}=\frac{y^H{B}^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}y}{y^{H}y}=R(B^{-\frac{1}{2}}A{B}^{-\frac{1}{2}},y)$$注意正定阵$B^{\frac{1}{2}}$是可逆的，因此$y=B^{\frac{1}{2}}x$是等价代换，这就将广义瑞丽商等价转换成了瑞丽商。

根据瑞丽商的结论 ，$R(A,B,x)$的最小值和最大值分别为$B^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}$的最小特征值和最大特征值，且当$y=B^{\frac{1}{2}}x$分别取$B^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}$对应于最小特征值的特征向量和对应于最大特征值的特征向量时，$R(A,B,x)$取到最小值和最大值。

因为矩阵$B^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}$不易计算（要对$B^{-1}$进行开方），由$$B^{-\frac{1}{2}}(B^{-\frac{1}{2}}A{B}^{-\frac{1}{2}})B^{\frac{1}{2}}=B^{-1}A$$知$B^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}$和$B^{-1}A$是相似的，特征值相同，而$B^{-1}A$相对来说更容易计算，故可将上面的结论陈述为：
$R(A,B,x)$的最小值和最大值分别为$B^{-1}A$的最小特征值和最大特征值。$x$取何值时$R(A,B,x)$取到最小值和最大值呢？
设$y_1$是$B^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}$对应于最小特征值的特征向量，即$$B^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}{y}_1={\lambda }_{min}{y}_1$$且$y_1\ne 0$。根据变换$y=B^{\frac{1}{2}}x$，将$y_1=B^{\frac{1}{2}}{x}_1$代入上式得$$B^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}{B}^{\frac{1}{2}}{x}_1={\lambda }_{min}{B}^{\frac{1}{2}}{x}_1$$两端左乘$B^{-\frac{1}{2}}$得$$B^{-1}A{x}_1={\lambda }_{min}{x}_1$$可见$x_1$恰好是$B^{-1}A$对应于最小特征值的特征向量。于是当$x$取$B^{-1}A$对应于最小特征值的特征向量时，$R(A,B,x)$取到最小值；当$x$取$B^{-1}A$对应于最大特征值的特征向量时，$R(A,B,x)$取到最大值。