线性代数基础12--对称矩阵,正定矩阵与快速傅里叶变换

1,对称矩阵与正定矩阵
对于实对称矩阵,其特征值都是实数,其不同特征值对应的特征向量相互正交.

所以对于是对称矩阵,其特征矩阵可以用正交矩阵代替,也就是常说的对称矩阵可以用正交矩阵进行相似对角化,

并且Q的逆等于Q的转置.

下面证明为什么特征值一定是实数

上面的横线表示取共轭的意思.

由于A是实数矩阵,所以A的共轭就是其本身.
从上面我们可以得到,实矩阵如果有复数特征值,一定是成对出现的.

对上面的等式做转置,并且左乘或右乘一点东西,就得到了上面结果.

那么现在需要证明x共轭的转置×x不为0,就可以得到特征值都是实数.

x为实向量时,x的转置乘以x表示x的点积.可以保证非负.对于复数就是长度的平方.结果如上,也可以保证非负.

什么是一个好的矩阵?
就是特征值都是实数,并且特征向量相互正交.
对于实矩阵,好矩阵的条件是对称矩阵.
对于复数矩阵,需要满足

因为在证明的时候需要第一个公式与第三个公式中A的共轭与转置不起作用.
所以对复数需要这样规定.

这里有两个问题,为什么实对称矩阵一定可以相似对角化?
为什么对称矩阵的特征向量相互正交?
可以自行搜索证明.
并且实对称矩阵的特征值不一定互异.

可以看到每一个对称矩阵都可以分解为多个对称矩阵.

对于实对称矩阵,主元的符号与特征值的符号相同,这样我们在求解微分方程的时候就不需要求出特征值就可以知道其稳定性.
并且得到很巧妙的方法,就矩阵加上7I,再计算主元,就可以知道哪些特征值大于7,哪些特征值小于7.
还有一个奇怪的性质,主元的乘积等于特征值的乘积,因为他们都等于行列式.前提应该是在得到主元的时候不能一行同乘或同除一个数,保留原始的主元.

下面开始正定矩阵.
在实数域上一定就是对称矩阵,并且特征值都大于0,主元也都大于0.
所有的子行列式都大于0.(从1扩大到n的每个行列式都大于0)
并且对于正定矩阵,行列式,主元,特征值证明一个就可以得到另外两个.

例子如下

2,复数矩阵

如果Z向量属于复空间C,那么一个复向量的模长就需要变成Z共轭的转置×Z,这样才能保证结果非负1.

那么就把Z共轭的转置记为ZH,表示Z的厄米特矩阵.

对于两个向量求内积也需要取y的厄米特矩阵.

对于复矩阵的对称矩阵,就与实矩阵不同了.这样也具有对称矩阵的性质,特征值都为实数,特征向量相互正交.

两个向量垂直的情况.

并且这里Q表示复数的正交矩阵,并且记为酉矩阵.它也要求每个向量的模为1,并且复数向量之间相互垂直.

最重要的复矩阵----傅里叶矩阵

这里注意i和j是从0开始的,所以第一行和第一列都为1.

并且其中的W因子,是一个以n为周期的复数.

并且根据欧拉公式可以展开,也就意味着W在单位圆上.

当n=4时,w就等于i.

并且F4矩阵的逆非常好求.

FFT快速傅里叶变换.

对于系数w有如上的关系.
以下给了我们从代数角度理解FFT的重要思想.



通过如上的分解,我们将F64逐渐转化为F2乘以多个修正矩阵进行求解.其中P为置换矩阵,对应FFT中的奇偶分离,左乘的矩阵对应于每一层分解之后的蝴蝶算法.
这里有几个提示,P应该就是右乘,因为需要将x1,x2等排序,x向量在P的右边所以进行的是行变换.第二W0=1,W0=-W(n-0)/2,所以上面的-D矩阵,其实就是复平面上的另外一半参数.具体参考上面的B2矩阵.

FFT的最终目的就是为了简化计算.

将n的平方次计算简化为了上面的结果.

3,正定矩阵

如何判断一个矩阵是正定矩阵?
首先,它必须是一个对称矩阵

1为特征值都大于0,2为主子式都大于0,3为主元都大于0,重点在第四个,对于任意向量都满足大于0.

上图所示的矩阵被称为半正定矩阵,只要18再大一点,就可以成为正定矩阵,该矩阵在临界点上.

我们画出如上矩阵的图形,这不是一个正定矩阵,可以得到,它是一个马鞍面,原点并不是其最低点.因为在(1,-1)点处函数<0.它存在鞍点(在一个方向上是极大值,但在另一个方向上是极小值)

对于这个矩阵,如何判断得到的二元函数对于任意向量都大于0呢?

在一元函数中,判断一点为极小值,要求其一阶导数=0,二阶导数>0
在线性代数进行了拓展,从一元变成了多元,所以二阶导数也从一个数,变成了一个矩阵(二阶导数矩阵如下),如果这个矩阵正定,那么其函数一定存在极小值.

这是一个对称矩阵,Fxy=Fyx

这样就证明了非负,那么18的临界值代表什么?就是2×9,配方法的临界.

我们如果在Z=1的地方截出一个曲面,就得到一个椭圆.

那么上面的配方数字也并不是偶然,u的两个主元就是x平方,y平方的系数,在外面.消去的3(第二行减去3倍的第一行)在配方法的里面.这里注意L中是3,而不是-3
这就是为什么主元都为正的时候,矩阵正定.因为表示平方项前的系数为正.

那么正定矩阵,就可以起到判断一个多元函数是否有极小值的作用.
这就是高数中判断二元函数极点时候的AC-B平方>0,其实就是在判定正定矩阵.

对于一个三阶正定矩阵,这个矩阵可以是一个三元函数的三阶导数矩阵.
如果他是正定的,那么矩阵A的相关联的函数原点就是其极小点.因为正定保证了其关联函数对于每个数都>0.
当我们让A的关联函数=1,截面就形成一个椭球体.

这个椭球体的轴长短由特征值决定,方向由特征向量决定.如果是单位矩阵,那么得到的是一个球.

这样我们将A相似对角化,就知道了各个轴的方向与长短.