线性代数导论28——正定矩阵和最小值

本文是Gilbert Strang的线性代数导论课程笔记。课程地址： http://v.163.com/special/opencourse/daishu.html  

第二十八课时：正定矩阵和最小值

本讲学习正定矩阵positive definite matrices，这个主题把整门课的知识融为一体，主元，行列式，特征值，不稳定性，新表达式 x^TAx。 目标是：怎么判断一个矩阵是否是正定矩阵，为什么对正定矩阵感兴趣，最后给出几何上的解释，椭圆和正定性有关，双曲线与正定性无关。当极小值存在时，如何找出极小值应用。

A2×2的对称矩阵是否是正定矩阵的判断方法：

1）特征值方法：λ1>0, λ2>0     

2）行列式方法：a>0, ac-b²>0

3）主元方法：第一个主元 a>0，第二个主元 (ac-b²)/a>0

4）新方法：x^TAx>0，x是任意向量，除x=(0 0)。x=(x,y)，f(x,y)=x^TAx=ax²+2bxy+cy²

方法4是大多数情况下正定性的定义。

半正定矩阵：不是正定矩阵，是对称的，是成为正定矩阵的临界点，奇异矩阵， 有一个特征值为0，特征值大于等于0。

例如：

判定 非正定矩阵

对于矩阵（[2 6],[6 7]）， 对应的f(x,y)= 2 x ² +12xy+7 y ² 的函数图像可以告诉我们一些信息

经过原点，在某个方向上向上，但在另一个方向向下，像马鞍面，中间的那个点就是鞍点，是某个方向上的极大值，另一个方向的极小值。实际上，最佳观测方向是沿特征向量的方向。

判定正定矩阵

得到的式子是二次形式，不再是线性的（Ax是线性的），纯二次形式，没有线性部分，没有常数项。

x=(x,y)，f(x,y)= x ^T Ax=a x ² +2bxy+c y ² = 2 x ² +12xy+20 y ² =2(x+3y) ² +2 y ² 。（通过配方法得到，配方实际上就是消元，消元时第一行要乘以3倍减去第二行，在配方结果中，两个主元2,2是平方项外边系数，消元时所乘3倍数在平方里面）

它的图像形状像个碗，纯二次形式，经过原点， 有极小值，极小值所在切面 所有一阶导数都为0。如果在碗状上高度为1的位置做一个切面，那这个切面就是一个椭圆 2(x+3y) ² +2 y ² =1 。

怎样判断极小值

微积分中，判定是否有极值，首先需要判断导数是否为0，然后要确定是极大值还是极小值，此时需要看二阶导数，二阶导数大于0时，有极小值，如果上图中从左往右看，通过最小值点后，斜率则必须是变大的。

而现在， 线性代数中，函数f(x1,x2,...,xn)存在极小值的条件是当二阶导数矩阵是正定矩阵。

二阶导数矩阵：如下2维变量x,y，用fxx表示对x变量的二阶导，fxy与fyx是相等的，因为不管先求哪个的导数得到的结果都是一样，它存在极小值的条件是它是正定矩阵。

3×3的矩阵

如果在f所表示的几何图形上面，高度为1（f=1）的地方做切割， 得到的图形则是一个扁的橄榄球，有一个长轴，另外两个轴相等，类似于一个矩阵有一重复的特征值，另一个不同（3个特征值）。如果是球的话，那就是单位矩阵，所有的特征值相同。

但是一般的情况下， 三个特征值都不相同，它相当于有一个长轴，一个中轴，一个短轴，三个轴的方向就是特征向量的方向，轴的长度由特征值大小来决定。

可以 将对称矩阵A写成QΛQ^T，这是主轴定理，特征向量说明主轴的方向，特征值说明那些轴的长度，这是特征值理论中最重要的分解。