数学基础 -- 线性代数之矩阵正定性

线性代数中的正定性

正定性在线性代数中主要用于描述矩阵的特性，尤其是在二次型与优化问题中有重要应用。

正定矩阵的定义

对于一个 $n\times n$ 的对称矩阵 $A$，其正定性可以通过以下条件来判断：

• 正定矩阵：如果对于任意非零向量 $x\in {\mathbb{R}}^n$，二次型 $x^{T}Ax$ 都是正的，即：
  $$x^{T}Ax>0\forall x\in {\mathbb{R}}^n,x\ne 0$$
  则称矩阵 $A$ 是正定矩阵（positive definite matrix）。

• 正半定矩阵：如果对于任意向量 $x\in {\mathbb{R}}^n$，二次型 $x^{T}Ax$ 是非负的，即：
  $$x^{T}Ax\ge 0\forall x\in {\mathbb{R}}^n$$
  则称矩阵 $A$ 是正半定矩阵（positive semi-definite matrix）。

正定矩阵的判定方法

1. 特征值法：如果一个对称矩阵的所有特征值都是正数，则该矩阵是正定的。特征值为非负则该矩阵是正半定的。

2. 主子式法：对于对称矩阵 $A$，如果其所有顺序主子式的行列式均为正，则矩阵 $A$ 是正定矩阵。这些主子式包括矩阵的左上角的各个子矩阵（即从 1x1 到 nxn）。

3. 二次型判断法：直接计算二次型 $x^{T}Ax$，如果对于所有非零向量 $x$，结果都为正，则矩阵 $A$ 是正定的。

判定矩阵正定性的例子

假设有一个 $2\times 2$ 的矩阵 $A$：

$$A=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$$

我们可以通过以下两种方法来判断它是否正定。

方法1：主子式法

矩阵 $A$ 是对称矩阵，我们可以计算它的主子式：

1. 第一个主子式（取左上角的 1x1 矩阵）：
   $$\det (A_1)=2$$
   该值大于 0。

2. 第二个主子式（整个 2x2 矩阵的行列式）：
   $$\det (A)=\det \left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)=2\times 2-1\times 1=3$$
   该值也大于 0。

由于两个顺序主子式的行列式都为正，因此矩阵 $A$ 是正定矩阵。

方法2：特征值法

我们可以通过特征值法来判断正定性。首先求矩阵 $A$ 的特征值：

$$\det \left(\begin{array}{cc}2-\lambda & 1\\ 1& 2-\lambda \end{array}\right)=(2-\lambda {)}^2-1={\lambda }^2-4\lambda +3=0$$

解这个特征方程：

$${\lambda }_1=3,{\lambda }_2=1$$

由于矩阵 $A$ 的两个特征值均为正，因此 $A$ 是正定矩阵。

正定矩阵的应用例子

正定矩阵在优化问题中有重要的应用。例如，在二次型优化问题中，正定矩阵可以用来确保二次型函数有唯一的最小值。

二次型优化问题

考虑一个二次型优化问题：

$$f(x)=\frac{1}{2}{x}^{T}Ax-b^{T}x$$

其中，矩阵 $A$ 是对称矩阵，向量 $b$ 是已知的常量向量，$x$ 是待优化的变量向量。

如果矩阵 $A$ 是正定的，则二次型函数 $f(x)$ 有唯一的极小值。我们可以通过解线性方程组找到最优解。根据一阶导数条件：

$$\nabla f(x)=Ax-b=0$$

解得：

$$x^{\ast }=A^{-1}b$$

这里，矩阵 $A$ 的正定性确保了矩阵 $A$ 是可逆的，并且最优解 $x^{\ast }$ 是全局最小值。

示例

考虑矩阵 $A$ 和向量 $b$ 如下：

$$A=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right),b=\left(\begin{array}{c}3\\ 4\end{array}\right)$$

我们要求解最优解 $x$：

$$Ax=b$$

即：

$$\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}3\\ 4\end{array}\right)$$

解得：

$$x_1=1,x_2=2$$

因此，最优解为：

$$x=\left(\begin{array}{c}1\\ 2\end{array}\right)$$

这个例子展示了正定矩阵在优化问题中的应用，确保了二次型问题的解的存在性与唯一性。