线代：1.7矩阵对角化二次型

本课程来自 深度之眼，部分截图来自课程视频。
【第一章 线性代数】1.7矩阵对角化二次型
在线LaTeX公式编辑器

任务详解：

1、掌握相似矩阵，对角化，对角化的条件。对称矩阵一定可以对角化
2、二次型与矩阵的正定性，以及如何判断正定，可逆的又一种判断方法

1.相似矩阵

定义7

设A，B都是n阶矩阵，若有可逆矩阵P，使
$$P^{-1}AP=B$$
则称B是A的相似矩阵，或说矩阵A与B相似（对应的B与A也是相似的）。对A进行运算$P^{-1}AP$称为对A进行相似变换，可逆矩阵P称为把A变成B的相似变换矩阵.

定理3

若n阶矩阵A与B相似，则A与B的特征多项式（就是上节课中的$|A-\lambda E|$）相同，从而A与B的特征值亦相同。
证明：
从B的特征多项式来看：$|B-\lambda E|=|P^{-1}AP-P^{-1}EP|=|P^{-1}(A-\lambda E)P|$
$$=|P^{-1}||(A-\lambda E)||P|=|P^{-1}||P||(A-\lambda E)|$$
$$=|P^{-1}P||(A-\lambda E)|=|(A-\lambda E)|$$
所以A与B的特征多项式相同，注意，特征向量不一定一样。

推论

若n阶矩阵A与对角阵
$$\Lambda =\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right]$$
相似，则${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$即是A的n个特征值.
因为：$\Lambda$的特征多项式$|\Lambda -\lambda E|$为：
$$\left|\begin{array}{cccc}{\lambda }_1-\lambda & & & \\ & {\lambda }_2-\lambda & & \\ & & \ddots & \\ & & & {\lambda }_n-\lambda \end{array}\right|=({\lambda }_1-\lambda )({\lambda }_2-\lambda )...({\lambda }_n-\lambda )$$
所以：${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$即是$\Lambda$的n个特征值.
A又和$\Lambda$相似，所以${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$也是A的n个特征值.

矩阵的对角化

下面我们要讨论的主要问题是：对n阶矩阵A，寻求相似变换矩阵P，使$|P^{-1}AP=\Lambda$为对角阵，这就称为把矩阵A对角化.
假设已经找到可逆矩阵P，使P-1AP=A为对角阵，我们来讨论P应满足什么关系.
把P用其列向量表示为
$$P=(p_1,p_2,\dots ,p_n)$$
由$|P^{-1}AP=\Lambda$(左右两边同时乘上P)得$AP=P\Lambda$，即
$$A(p_1,p_2,\dots ,p_n)=(p_1,p_2,\dots ,p_n)\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right]$$
$$=({\lambda }_1{p}_1,{\lambda }_2{p}_2,...{\lambda }_n{p}_n)$$
于是有：$A{p}_i={\lambda }_i{p}_i(i=1,2,...,n)$，这个是特征向量的定义里面的公式($Ax=\lambda x$)啊~~

定理4

n阶矩阵A与对角阵相似（即A能对角化）的充分必要条件是A有n个线性无关的特征向量（可以解出n个$(p_1,p_2,\dots ,p_n)$）。

定理2

设$({\lambda }_1,{\lambda }_2,...{\lambda }_m)$是方阵A的m个特征值，$(p_1,p_2,\dots ,p_m)$依次是与之对应的特征向量，如果$({\lambda }_1,{\lambda }_2,...{\lambda }_m)$各不相等，则$(p_1,p_2,\dots ,p_m)$线性无关.
推论：如果n阶矩阵A的n个特征值互不相等，则A与对角阵相似.
推理证明：n阶矩阵A的n个特征值互不相等，即$({\lambda }_1,{\lambda }_2,...{\lambda }_n)$各不相等，根据定理2可知，与$({\lambda }_1,{\lambda }_2,...{\lambda }_n)$对应的特征向量$(p_1,p_2,\dots ,p_n)$线性无关.，根据定理4，n阶矩阵A与对角阵相似。
上面这几个小节虽然讲了矩阵对角化的判别标准，但是这个标准需要去计算矩阵的n个特征值，很是麻烦，有么有什么方法可以不用计算就判断矩阵是否可以对角化呢？看下一节！

对称矩阵的对角化

对称矩阵一定是可以对角化滴。
定理5：对称阵的特征值为实数
定理6：设${\lambda }_1,{\lambda }_2$是对称阵A的两个特征值，$p_1,p_2$,是对应的特征向量.若${\lambda }_1\ne {\lambda }_2$，则$p_1与p_2$正交.(上面是讲线性无关，这里约束更强)
证明：${\lambda }_1,{\lambda }_2$是对称阵A的两个特征值
因此有：${\lambda }_1{p}_1=A{p}_1,{\lambda }_2{p}_2=A{p}_2,{\lambda }_1\ne {\lambda }_2$
因A对称，故${\lambda }_1{p}_1^T=({\lambda }_1{p}_1{)}^T=(A{p}_1{)}^T=p_1^T{A}^T=p_1^{T}A$，这个式子等式两边的右边在乘以$p_2$，得：
${\lambda }_1{p}_1^T{p}_2=p_1^{T}A{p}_2$，把${\lambda }_2{p}_2=A{p}_2$代入：
${\lambda }_1{p}_1^T{p}_2=p_1^{T}A{p}_2=p_1^T({\lambda }_2{p}_2)={\lambda }_2{p}_1^T{p}_2$，即
$$({\lambda }_1-{\lambda }_2)p_1^T{p}_2=0$$
由于${\lambda }_1\ne {\lambda }_2$，故$p_1^T{p}_2=0$，即$p_1与p_2$正交
定理7：设A为n阶对称阵，则必有正交阵P，使$P^{-1}AP=P^{T}AP=\Lambda$，其中$\Lambda$是以A的n个特征值为对角元的对角阵.
这个定理描述了两个东西，根据A对称，或者说$A=A^T$：
1、$P^{-1}AP=\Lambda =P^{T}AP$
2、P还是一个正交阵：$P^{T}P=P{P}^T=E$

推论

设A为n阶对称阵，λ是A的特征方程的k重根，则矩阵A-λE的秩R(A-λE)=n-k，从而对应特征值λ恰有k个线性无关的特征向量。
证明：按定理7知对称阵A与对角阵$\Lambda =diag({\lambda }_1,\dots ,{\lambda }_n)$相似，从而A-λE与$\Lambda -\lambda E=diag({\lambda }_1,\dots ,{\lambda }_n)$相似.当λ是A的k重特征根时，${\lambda }_1,\dots ,{\lambda }_n$这n个特征值中有k个等于λ，有n-k个不等于λ，从而对角阵$\Lambda -\lambda E$的对角元恰有k个等于0，于是$R(\Lambda -\lambda E)=n-k$而$R(A-\lambda E)=R(\Lambda -\lambda E)$，所以$R(A-\lambda E)=n-k.$证毕
说人话：就是对于n阶对称矩阵A来说，有k重根，就有k个解。

依据定理7及其推论，我们有下述把对称阵A对角化的步骤：
（i）求出A的全部互不相等的特征值${\lambda }_1,\dots ,{\lambda }_s$，它们的重数依次为$k_1,\dots ,k_s(k1+\dots +k_s=n)$.
（ii）对每个k重特征值λ，求方程$(A-{\lambda }_{i}E)x=0$的基础解系，得$k_i$个线性无关的特征向量.再把它们正交化、单位化，得$k_i$个两两正交的单位特征向量.因$k1+\dots +k_s=n$，故总共可得n个两两正交的单位特征向量.
（iii）把这n个两两正交的单位特征向量构成正交阵P，便有$P^{-1}AP=P^{T}AP=\Lambda$注意$\Lambda$中对角元的排列次序应与P中列向量的排列次序相对应.

例子

设$A=\left[\begin{array}{ccc}0& -1& 1\\ -1& 0& 1\\ 1& 1& 0\end{array}\right]$求一个正交阵P，使$P^{-1}AP=\Lambda$
解：由

求得A的特征值为${\lambda }_1=-2，{\lambda }_2={\lambda }_3=1$.
对应${\lambda }_1=-2$，解方程（A+2E）x=0，由

对应${\lambda }_2={\lambda }_3=1$，解方程（A-E）x=0，由


以上将${\xi }_2,{\xi }_3$正交化的操作，可以百度施密特规范，${\xi }_2,{\xi }_3$是线性无关，但不正交，这里是正交化后单位化
至此$p_1,p_2,p_3$都求出来了，组合变成P

解空间

对于线性方程$Ax=0$来说，有：$R(A)+N(A)=n$，其中R(A)为系数矩阵A的秩，N(A)为线性方程解的维度，例如下面这个例子就是一维的解

n为方程的未知数个数。

2.二次型以及矩阵的正定性

在解析几何中，为了便于研究二次曲线
$$a{x}^2+bxy+c{y}^2=1$$
的几何性质，可以选择适当的坐标旋转变换
$$\{\begin{array}{c}x=x^{\prime }cos\theta -y^{\prime }sin\theta ,\\ y=x^{\prime }sin\theta -y^{\prime }cos\theta ,\end{array}$$
把方程化为标准形
$$m{x}^{\prime 2}+n{y}^{\prime 2}=1$$
也就是：$a{x}^2+bxy+c{y}^2=f(x,y)$
上面是2次方程，下面推广到n个变量$x_1,x_2,\dots ,x_n$的方程：

定义8

含有n个变量$x_1,x_2,\dots ,x_n$的二次齐次函数
$$f(x_1,x_2,\dots ,x_n)=a_{11}{x}_1^{2}i+a_{22}{x}_2^2+\dots +a_{nn}{x}_n^2+2a_{12}{x}_1{x}_2+2a_{13}{x}_1{x}_3+\dots +2a_{n-1,n}{x}_{n-1}{x}_n$$
称为二次型.
对于二次型，我们讨论的主要问题是：寻求可逆的线性变换

使二次型只含平方项，能使：
$$f=k_1{y}_1^2+k_2{y}_2^2+...+k_n{y}_n^2$$
这种只含平方项的二次型，称为二次型的标准形（或法式）.

说人话：对于$f(x_1,x_2,\dots ,x_n)$找到一个线性变换（就是把x坐标线性变换到y），使得整个函数可以写为：$k_1{y}_1^2+k_2{y}_2^2+...+k_n{y}_n^2$，这个模式不含$2a_{12}{x}_1{x}_2+2a_{13}{x}_1{x}_3+\dots +2a_{n-1,n}{x}_{n-1}{x}_n$这种交叉项的。

如果标准形的系数$k_1,k_2,\dots ,k_n$只在1，-1，0三个数中取值：
$$f=y_1^2+\dots +y_p^2-y_{p+1}^2-\dots -y_r^2$$
则称上式为二次型的规范形.
要把标准形变成规范形就是把系数k放入平方中，例如：$k_1{y}_1^2=(\sqrt{k_1}{y}_1{)}^2$，然后令$z=\sqrt{k_1}{y}_1$，则：$k_1{y}_1^2=z^2$
下面是数学的具体表达

记

则二次型可记作：
$$f=x^{T}Ax\text{\hspace{1em}(1)}$$
其中A为对称阵.。
例子：

公式（1）中，如果A是对角矩阵该多棒，一下子就是标准型甚至规范型了

下面就是要把A变成对角矩阵，形成标准形：
由于A是对称阵，有：$P^{T}AP=\Lambda$----》$A=(P^T{)}^{-1}\Lambda P^{-1}$，令$P^{-1}=Q$，$(P^T{)}^{-1}=(P^{-1}{)}^T=Q^T$式子变成$Q^T\Lambda Q$，把$A=Q^T\Lambda Q$代入公式（1）
$$f=x^T{Q}^T\Lambda Qx=(xQ{)}^T\Lambda Qx$$
令$Qx=y$，上式可以写成：$$f=y^T\Lambda y$$
这个是关于y的标准形

正定的概念：

定义10：设有二次型$f(x)=x^{T}Ax$，如果对任何$x\ne 0$，都有$f(x)>0$（显然$f(0)=0$），则称f为正定二次型，并称对称阵A是正定的；如果对任何$x\ne 0$都有$f(x)<0$，则称f为负定二次型，并称对称阵A是负定的。
定理10：n元二次型$f(x)=x^{T}Ax$为正定的充分必要条件是：它的标准形的n个系数全为正，即它的规范形的n个系数全为1，亦即它的正惯性指数等于n.
推论：对称阵A为正定的充分必要条件是：A的特征值全为正
说人话：对于对称矩阵A，$f(x)=x^{T}Ax$有：

正定	对于任意x≠0有：f(x)>0
负定	对于任意x≠0有：f(x)<0
半正定	对于任意x≠0有：f(x)≥0
半负定	对于任意x≠0有：f(x)≤0

说人话：对称矩阵A是正定的，与A的特征值${\lambda }_i>0$等价，可以推出A可逆；
对称矩阵A是半正定的，与A的特征值${\lambda }_i\ge 0$等价，A不一定可逆
上面结论在岭回归的时候要用到。。。