线性代数及其应用：第六章 正定矩阵与奇异值分解

  前言：这篇blog是《 Linear Algebra and Its Applications》第六章的一些学习笔记。

正定矩阵

  这一章要用到对实对称矩阵$A$的三角分解$A=LD{L}^T$，以及谱定理$A=Q\Lambda Q^T$

1. 正定矩阵

  对任意非零实向量$x$，有$x^{T}Ax>0$，则$A$为正定矩阵。

  在线性代数中，正定矩阵是对称矩阵，因为来自二次型；对任一二次型，总可以写成对称矩阵的形式，即$$f(x_1,x_2\dots x_n)=x^{T}Ax=\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}{x}_i{x}_j$$

如果$A$是正定矩阵，则$x^{T}Ax$表示的二次型有最小值，不存在鞍点。

  但在矩阵论中，正定矩阵不一定是对称矩阵，例如$$\left[\begin{array}{cc}1& -1\\ 1& 0\end{array}\right]$$

1.1. 实对称矩阵是正定矩阵的充要条件

  判断实对称矩阵$A$是否为正定矩阵，有5个充要条件，只要满足其中一个即可。

1. $x^{T}Ax>0$，对所有非零实向量$x$均成立；
2. $A$的所有特征值${\lambda }_i$满足${\lambda }_i>0$；
3. 所有顺序主子式$A_k$是正的；
4. 所有主元(piovts)大于0(最快捷条件)；
5. $A$能分解成$R^{T}R$，其中R的列向量相互独立。

证明：

条件1：定义，证毕。

条件2$⟺$条件1：对$A$进行分解，$A=Q\Lambda Q^T$，有$x^{T}Ax=x^{T}Q\Lambda Q^{T}x$，令$x^{T}Q=y^T$，则$x^{T}Ax=y^T\Lambda y=\sum _{i=1}^n{\lambda }_i{y}_i^2$，根据条件1，如果实对称矩阵$A$是正定矩阵，则任意非零向量$x$，$x^{T}Ax$恒大于0，所以$\sum _{i=1}^n{\lambda }_i{y}_i^2$恒大于0，所以${\lambda }_i>0$，证毕。

条件1和2$⟹$条件3：对于实对称矩阵$A$，以证明$A_3$为例，令$x=[x_1,x_2,x_3,0,0,0,\dots {]}^T$，则$x^{T}Ax$等价于$$[x_1,x_2,x_3]\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]\text{\hspace{1em}(1)}$$

根据条件1，如果实对称矩阵$A$是正定矩阵，则$x^{T}Ax>0$，所以(1)的中间矩阵也应该是正定矩阵，根据条件2，(1)的中间矩阵的所有特征值大于0，所以$$A_3=(1)的中间矩阵的所有特征值乘积>0$$证毕。方阵的行列式等于所有特征值乘积，在第五章特征值与特征向量中推导过这一结论。

条件3$⟹$条件4：以$d_3$为例，$d_3=\frac{A_3}{A_2}>0$，证毕。关于求$d_3$用的表达式，在第四章行列式中推导过。

条件4$⟹$条件1，对$A$进行三角分解$A=LD{L}^T$，则$x^{T}Ax=x^{T}LD{L}^{T}x$，令$y=L^{T}x$，则$x^{T}Ax=y^{T}Dy$，对角矩阵$D$存的是$A$的主元(pivots)，所以$y^{T}Dy=\sum _{i=1}^n{d}_i{y}_i^2>0$可以推出$x^{T}Ax>0$

至此，条件1-4相互均可以推导。

条件5$⟺$条件4：$A=LD{L}^T=(L\sqrt{D})(\sqrt{D}{L}^T)=R^{T}R$，其中$R=\sqrt{D}{L}^T$；或者条件5$⟺$条件2：$A=Q\Lambda Q^T=(Q\sqrt{\Lambda })(\sqrt{\Lambda }{Q}^T)=R^{T}R$，其中$R=\sqrt{\Lambda }{Q}^T$

1.2. 实对称矩阵是半正定矩阵的充要条件

  半正定矩阵就是对任意非零实向量$x$，有$x^{T}Ax\ge 0$，相对正定矩阵多了等于0；相应的充要条件也加上了等号。

1. $x^{T}Ax\ge 0$，对所有非零实向量；
2. $A$的所有特征值${\lambda }_i$满足${\lambda }_i\ge 0$；
3. 所有顺序主子式$A_k$是$\ge$