线性代数：正定二次型与正定矩阵学习笔记

线性代数：正定二次型与正定矩阵学习笔记

一、背景

在线性代数中，二次型是一个非常重要的概念。本文主要介绍正定二次型和正定矩阵的定义、性质和应用，并希望能够对读者加深对线性代数的理解和应用有所帮助。

二、定义

1. 二次型

设 $A$ 是 $n$ 阶实对称矩阵，$\mathbf{x}$ 是 $n$ 维列向量，则称 $Q(\mathbf{x})={\mathbf{x}}^{T}A\mathbf{x}$ 为二次型。

2. 正定二次型

若 $\forall \mathbf{x}\ne 0$，都有 $Q(\mathbf{x})>0$，则称 $Q(\mathbf{x})$ 是正定二次型。

3. 正定矩阵

设 $A$ 是 $n$ 阶实对称矩阵，若对于任意非零向量 $\mathbf{x}$，都有 ${\mathbf{x}}^{T}A\mathbf{x}>0$，则称 $A$ 是正定矩阵。

三、性质

1. 正定二次型的系数矩阵 $A$ 是正定矩阵。
2. 正定矩阵的特征值均为正数。
3. 正定矩阵必然是可逆的。

四、判定方法

1. 二次型主轴法

对于二次型 $Q(\mathbf{x})={\mathbf{x}}^{T}A\mathbf{x}$，通过正交变换 $\mathbf{x}=\mathbf{P}\mathbf{y}$，将二次型化为新的二次型 $Q^{\prime }(\mathbf{y})={\mathbf{y}}^{T}D\mathbf{y}$，其中 $D$ 是对角矩阵，则：

• 当 $D$ 的所有对角线元素都大于 $0$ 时，二次型 $Q^{\prime }(\mathbf{y})$ 是正定的。
• 当 $D$ 的所有对角线元素都小于 $0$ 时，二次型 $Q^{\prime }(\mathbf{y})$ 是负定的。
• 当 $D$ 的对角线元素有正有负时，则 $Q^{\prime }(\mathbf{y})$ 不是正定的。

因此，我们可以通过二次型主轴法来判断一个二次型是否是正定的。

2. 特征值法

设 $A$ 是一个 $n$ 阶实对称矩阵，${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$ 是 $A$ 的 $n$ 个特征值，则：

• 当 ${\lambda }_i>0(1\le i\le n)$ 时，$A$ 是正定矩阵。
• 当 ${\lambda }_i<0(1\le i\le n)$ 时，$A$ 是负定矩阵。
• 当 ${\lambda }_i$ 中有正有负时，则 $A$ 不是正定矩阵。

因此，我们也可以通过特征值法来判断一个矩阵是否是正定矩阵。

五、应用

在机器学习中，正定二次型和正定矩阵经常被用来描述一些重要的概念。例如，在支持向量机中，正定二次型被用来定义核函数；在主成分分析中，正定矩阵被用来计算协方差矩阵等。

六、总结

本文介绍了正定二次型和正定矩阵的定义、性质、判定方法和应用，希望对读者在学习线性代数时有所帮助。正定二次型和正定矩阵是线性代数中非常重要的概念，其在机器学习中的应用也非常广泛。