半正定矩阵

在矩阵分析和线性代数中，半正定矩阵（Positive Semi-Definite Matrix，简称PSD矩阵）是一类重要的矩阵。一个矩阵被称为半正定矩阵有以下几种等价的定义和性质：

定义

一个对称矩阵$\mathbf{M}$被称为半正定矩阵，如果对于所有的非零向量$\mathbf{x}$，都有：

${\mathbf{x}}^{\top }\mathbf{Mx}\ge 0$

性质

1. 特征值：一个对称矩阵$\mathbf{M}$是半正定的，当且仅当其所有特征值都是非负的。
2. 奇异值分解：一个矩阵$\mathbf{M}$是半正定的，当且仅当它可以表示为$\mathbf{M}={\mathbf{A}}^{\top }\mathbf{A}$的形式，其中$\mathbf{A}$是任意矩阵。
3. 内积空间：在内积空间中，半正定矩阵对应的二次型不会改变向量的非负性质。

符号

符号$\mathbf{M}⪰0$表示矩阵$\mathbf{M}$是半正定的。这意味着$\mathbf{M}$满足上述条件。

示例

考虑一个$2\times 2$的对称矩阵：

$$\mathbf{M}=\left(\begin{array}{cc}2& -1\\ -1& 2\end{array}\right)$$

验证这个矩阵是否为半正定：

1. 检查特征值：

   计算特征方程的特征值：

$$\det (\mathbf{M}-\lambda \mathbf{I})=0$$

$$\det \left(\begin{array}{cc}2-\lambda & -1\\ -1& 2-\lambda \end{array}\right)=0$$

计算行列式：

$$(2-\lambda {)}^2-(-1{)}^2=0$$

$${\lambda }^2-4\lambda +3=0$$

解这个二次方程：

$$\lambda =3\text{或}\lambda =1$$

由于所有特征值都是非负的，因此矩阵$\mathbf{M}$是半正定的。

2. 检查二次型：

   对于任意向量$\mathbf{x}=\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)$，

$${\mathbf{x}}^{\top }\mathbf{Mx}=\left(\begin{array}{cc}{x}_1& x_2\end{array}\right)\left(\begin{array}{cc}2& -1\\ -1& 2\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)$$

$$=2x_1^2-2x_1{x}_2+2x_2^2$$

可以验证，对于任意向量$\mathbf{x}$，这个二次型的值都是非负的。

应用

半正定矩阵在许多应用中都非常重要，包括但不限于：

1. 优化理论：半正定矩阵在凸优化中非常重要，尤其是在二次规划问题中。
2. 统计学：在协方差矩阵中，半正定性确保了协方差矩阵是有效的。
3. 机器学习：在核方法中，核矩阵通常需要是半正定的，以确保其定义有效的内积空间。
4. 控制理论：在控制系统中，半正定矩阵用于描述系统的稳定性和性能指标。

通过以上解释，希望能帮助你更好地理解半正定矩阵的概念、性质及其应用。