最大值减最小值等于区间长度_MIT—线性代数笔记27 正定矩阵和最小值

第27讲 正定矩阵和最小值

Positive definite matrices and minima

28 正定矩阵和最小值​v.youku.com

本讲学习正定矩阵，这部分内容将本课程之前的知识点：主元、行列式、特征值以及方程的稳定性融为一体。本讲介绍如何判定一个矩阵是否正定矩阵，以及当一个矩阵是正定矩阵时，其内涵和矩阵操作的效果有何特别之处。此外还有正定矩阵与几何的关系：椭圆和正定有关，双曲线与正定无关。

• 正定矩阵 Positive definite matrices

给定一个2x2矩阵

，有四个途径判定矩阵是否正定矩阵：

1. 特征值：
2. 行列式（所有子行列式）：
3. 主元：
4. 表达式
   （
   x=0除外）。通常这就是正定的定义，而前三条是用来验证正定性的条件。

给定矩阵

，从判据可知矩阵为正定阵的条件是2y-36>0，即y>18。

矩阵

正好处在判定为正定矩阵的临界点上，称之为半正定（positive semidefinite）矩阵，它具有一个特征值0，是奇异矩阵，只有一个主元，而行列式为0。半正定矩阵特征值大于等于0。

再观察

判据：

之前讨论得都是线性方程Ax，现在引入

，变成二次，如果对于任意x，y，这种二次型（quadratic form）

均大于零，则矩阵为正定矩阵。

在本例的半正定矩阵中，当x1=3，x2=-1时

。

如果将矩阵变为

，二次型为

，从几何图像上看没有最小值点，在原点处有一鞍点。鞍点在某个方向上看是极大值点，在另一方向上是极小值点，实际上最佳观测角度是特征向量的方向。

如果将矩阵变为

，主元为正；特征值之积为行列式的值4，特征值和为矩阵的迹22，因此特征值为正；子行列式均为正。矩阵为正定矩阵。

二次型

，其图像最小值点为原点，一阶偏导数为0，二阶偏导数为正。

当年上课时候老师讲双曲面的鞍点，画的图不好，有个篮球队的哥们理解不了，于是下了课跑去问老师，老师指着他的热身篮球裤说，就你这种裤腿两侧能撕开的篮球裤，全部打开，拎起来，裤裆地方就是鞍点……算了，反正GS画图真心不行，看看Lay的吧：

微积分中判定最小值点的判据：一阶导数等于零

，二阶导数为正

。线性代数中判据为二阶导数矩阵正定。

对于二次型我们可以用配方的办法来验证其是否具有最小值：

配方使得

的系数和交叉项

的系数配合形成完全平方的形式，这个时候用到的

的系数正好是18，即判定正定的临界点。如果实际的系数d大于18，则还剩余

，二次型在原点之外一定大于零，若小于18则二次型可以小于等于0。

对于

，其几何图像为碗型的曲面，如果我们用f=1的截面横截曲面，得到的就是

的椭圆曲线。而对于双曲面进行切割就得到双曲线。

配方法其实就是消元：

主元就是平方项系数，L矩阵中的行操作数

就是配方项内y的系数。因此这就是为什么主元为正则矩阵为正定矩阵，因为主元是每一个完全平方项的系数。本例中二次型表达式的配方说明了二维的情形，而线代的理论可以将之推广到n维。

二阶导数的矩阵记为

，矩阵对称代表交叉二阶偏导数与求导顺序无关

。在微积分中我们学到的判据

，和二阶矩阵判定正定是等价的，并且线代可以推广到n维。

3阶矩阵A=

，它是正定矩阵。计算子行列式得到

，

，

。主元是2，3/2，4/3。特征值是

。

这是G. Strang最爱的矩阵之一，可以用来把二阶微分方程变成离散问题，因为它每一行都是差分方程

。

其二次型为

。

这是一个四维的图像，三个维度x1，x2，x3，还有函数f，如果用f=1切割图像，则得到

。这是一个椭球体，三个特征值不同，因此椭球的三个长轴长度不同。三个轴的方向就是特征向量的方向，轴长度就是特征值，矩阵的分解

很好的说明了这件事，这就是所谓的“主轴定理”。

---

对于三条判据可以判定正定：

（

x=0除外）。已经分析了主元要大于零的原因，因为它是配方后的参数，只有都大于零才能保证正定。以下对于判据1和2做简要说明。
对称矩阵 A，其正交的特征向量可以张成整个空间，因此任意向量 x均可表示成特征向量的线性组合

，代入得

，当特征值都大于零且

x≠0时，才能保证

。因此条件1与正定性等价。

记

为矩阵

A左上角k阶方块，取特殊向量 x=

，即后n-k个元素为0，则有

。若矩阵

A满足正定性，则所有

均满足正定性。已证明正定性等价于特征值均为正，而矩阵行列式等于特征值之积，因此可知子行列式均大于零。反之亦成立，两命题等价。