矩阵的对角化（Diagonalization），二次型（Quadratic Form），求二次型的最值，二次型最值与特征值的关系

对称矩阵的对角化

  对称矩阵：如果矩阵$A$满足$A^T=A$，那么$A$为对称矩阵，对称矩阵一定是方阵。

正交对角化

  如果一个矩阵$A$可正交对角化，那么存在一个正交矩阵$P$（根据正交矩阵的定义可知，$P^{-1}=P^T$）和一个对角阵，使得：$A=PD{P}^T=PD{P}^{-1}$。
  定理：一个$n\times n$的矩阵$A$可以正交对角化的充要条件是$A$为对称矩阵。

例1：判断矩阵$A=\left[\begin{array}{ccc}6& -2& -1\\ -2& 6& -1\\ -1& -1& 5\end{array}\right]$是否可以对角化，如果可以请对其进行对角化。

解：
$A$的特征方程：$0=det(A-\lambda I)=-{\lambda }^3+17{\lambda }^2-90\lambda +144=-(\lambda -8)(\lambda -6)(\lambda -3)$

特征值为3，6，8.

求$\lambda =8$对应的基：
化简方程$(A-\lambda I)x=(A-8I)x=0$对应的增广矩阵：

$\left[\begin{array}{cccc}6-8& -2& -1& 0\\ -2& 6-8& -1& 0\\ -1& -1& 5-8& 0\end{array}\right]\to \left[\begin{array}{cccc}1& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 0\end{array}\right]$

即通解为：$x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=x_2\left[\begin{array}{c}-1\\ 1\\ 0\end{array}\right]$

所以$\lambda =8$对应的基为$v_1=\left[\begin{array}{c}-1\\ 1\\ 0\end{array}\right]$；同理，求得
$\lambda =6$对应的基为$v_2=\left[\begin{array}{c}-1\\ -1\\ 2\end{array}\right]$；$\lambda =3$对应的基为$v_3=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$。
向量$v_1$，$v_2$，$v_3$形成了$R^3$上一个基，因为$v_1^T{v}_2=0$，$v_1^T{v}_3=0$，$v_2^T{v}_3=0$，所以{v1,v2,v3}\{v_1,v_2,v_3\}{v1​,v2​,v3​}是$R^3$上一个正交基。

单位化后得到：（注：上面的$v_1,v_2,v_3$是$A$的3个线性无关的特征向量，下面$u_1,u_2,u_3$是单位特征向量）

$u_1=\left[\begin{array}{c}-\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\\ 0\end{array}\right]$

$u_2=\left[\begin{array}{c}-\frac{1}{\sqrt{6}}\\ -\frac{1}{\sqrt{6}}\\ \frac{2}{\sqrt{6}}\end{array}\right]$

$u_3=\left[\begin{array}{c}\frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\end{array}\right]$

所以可以得到矩阵$P=[u_1{u}_2{u}_3]=\left[\begin{array}{cccc}-\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{3}}& \\ -\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{3}}& \\ 0& \frac{2}{\sqrt{6}}& \frac{1}{\sqrt{3}}& \end{array}\right]$，

所以$D=\left[\begin{array}{ccc}8& 0& 0\\ 0& 6& 0\\ 0& 0& 3\end{array}\right]$

到此，$A$对角化完成：$A=PD{P}^{-1}$。

  因为$P$是方阵，且有单位正交列，所以$P$是正交矩阵，且$P^{-1}=P^T$，因为正交矩阵的定义是，该矩阵可逆且有其转置等于其逆。

  总结：如果$A$是对称矩阵，那么不同特征空间的任意两个特征向量是正交的。例如本例中，特征向量$v_1=\left[\begin{array}{c}-1\\ 1\\ 0\end{array}\right]$对应的特征空间是过原点及点$(-1,1,0)$的直线，该特征空间由零向量和所有对应于$\lambda =8$这个特征值的特征向量（即$v_1$的所有倍数）构成。

例2：将矩阵$A=\left[\begin{array}{ccc}3& -2& 4\\ -2& 6& 2\\ 4& 2& 3\end{array}\right]$正交对角化。

解：

特征方程：$0=det(A-\lambda I)=-{\lambda }^3+12{\lambda }^2-21\lambda -98=-(\lambda -7{)}^2(\lambda +2)$

按照上例的方法计算特征值对应的基：
$\lambda =7:v_1=\left[\begin{array}{c}1\\ 0\\ 1\end{array}\right],v_2=\left[\begin{array}{c}-\frac{1}{2}\\ 1\\ 0\end{array}\right]$

$\lambda =-2:v_3=\left[\begin{array}{c}-1\\ -\frac{1}{2}\\ 1\end{array}\right]$

可验算$v_1\cdot v_2=-\frac{1}{2}\ne 0$，虽然$v_1$，$v_2$线性无关，但是不正交(可验算$v_1$和$v_3$正交，$v_2$和$v_3$正交，即属于不同特征空间的特征向量是正交的)。

可求出$v_2$中与$v_1$正交的分量：

$z_2=v_2-\frac{v_2\cdot v_1}{v_1\cdot v_1}{v}_1=\left[\begin{array}{c}-\frac{1}{2}\\ 1\\ 0\end{array}\right]-\frac{-\frac{1}{2}}{2}\left[\begin{array}{c}1\\ 0\\ 1\end{array}\right]=\left[\begin{array}{c}-\frac{1}{4}\\ 1\\ \frac{1}{4}\end{array}\right]$ （格拉姆-施密特方法）

（$\frac{v_2\cdot v_1}{v_1\cdot v_1}{v}_1$为$v_2$在$v_1$上的投影）

  所以{v1,z2}\{v_1,z_2\}{v1​,z2​}是关于$\lambda =7$的特征空间的正交集。$z_2$是$v_1$和$v_2$的线性组合，所以$z_2$属于$\lambda =7$的特征空间（二维，基是$v_1$和$v_2$，该特征空间是$v_1$和$v_2$确定的平面），所以正交集{v1,z2}\{v_1,z_2\}{v1​,z2​}是$\lambda =7$的特征空间的正交基。

将$v_1$、$z_2$单位化：

$u_1=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ 0\\ \frac{1}{\sqrt{2}}\end{array}\right]$

$u_2=\left[\begin{array}{c}-\frac{1}{\sqrt{18}}\\ \frac{4}{\sqrt{18}}\\ \frac{1}{\sqrt{18}}\end{array}\right]$

特征值$\lambda =-2$对应的基：
$u_3=\left[\begin{array}{c}-\frac{2}{3}\\ -\frac{1}{3}\\ \frac{2}{3}\end{array}\right]$

验算：$u_1\cdot u_2=0$，$u_1\cdot u_3=0$，$u_2\cdot u_3=0$

可见本例符合如果$A$是对称矩阵，那么不同特征空间的任意两个特征向量是正交的，这个定理。

二次型（Quadratic Form）定义

  $R^n$上一个二次型是一个定义在$R^n$上的函数，它在向量$x$处的值可以表示为$Q(x)=x^{T}Ax$，其中$A$是一个$n\times n$的对称矩阵。矩阵$A$称为关于二次型的矩阵。

例1：设$x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$，计算下列矩阵的$x^{T}Ax$：
$A=\left[\begin{array}{cc}4& 0\\ 0& 3\end{array}\right]$，$B=\left[\begin{array}{cc}3& -2\\ -2& 7\end{array}\right]$。

解：

$x^{T}Ax=\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{cc}4& 0\\ 0& 3\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=4x_1^2+3x_2^2$

$x^{T}Ax=\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{cc}3& -2\\ -2& 7\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=3x_1^2-4x_1{x}_2+7x_2^2$

例2：对于属于$R^3$的$x$，设$Q(x)=5x_1^2+3x_2^2+2x_3^2-x_1{x}_2+8x_2{x}_3$，请写出$x^{T}Ax$形式的二次型。

解：

$x_1^2$，$x_2^2$，$x_3^2$的系数在对角线上。为了使$A$对称，当$i\ne j$时，$x_i{x}_j$的系数要平均分配给$A$中的$(i,j)$元素。因为$Q(x)$表达式中没有$x_1{x}_3$，所以矩阵$A$中$(1,3)$和$(3,1)$元素都为0。对于$x_2{x}_3$其系数为8，所以矩阵$A$中$(2,3)$和$(3,12)$元素都为8的一半，即4。

所以$Q(x)=x^{T}Ax=\left[\begin{array}{ccc}{x}_1& x_2& x_3\end{array}\right]\left[\begin{array}{ccc}5& -\frac{1}{2}& 0\\ -\frac{1}{2}& 3& 4\\ 0& 4& 2\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$

验算可知上面的分解是成立的。

例3：令$Q(x)=x_1^2-8x_1{x}_2-5x_2^2$，请计算$Q(x)$在$x=\left[\begin{array}{c}-3\\ 1\end{array}\right]$，$\left[\begin{array}{c}2\\ -2\end{array}\right]$和$\left[\begin{array}{c}1\\ -3\end{array}\right]$处的值。

解：

$Q(-3,1)=(-3{)}^2-8(-3\times 1)-5\times 1^2=28$

$Q(2,2)=(2{)}^2-8(-2\times 2)-5\times 2^2=16$

$Q(1,-3)=(1{)}^2-8(1\times (-3))-5(-3{)}^2=-20$

二次型的变量代换

  方法：如果$x$表示$R^n$中的向量变量，那么变量代换为：$x=Py$，或$y=P^{-1}x$，其中$P$为可逆矩阵，$y$是$R^n$中一个新的向量变量。这里$P$的列可以确定$R^n$的一个基，$y$是相对于该基的向量$x$的坐标向量。
使用上面变量代换（$x=Py$，或$y=P^{-1}x$）处理二次型$x^{T}Ax$，则：$x^{T}Ax=(Py{)}^{T}A(Py)=y^T{P}^{T}APy=y^T(P^{T}AP)y$，则新的二次型矩阵是$P^{T}AP$。因为矩阵$A$是对称的，所以存在正交矩阵$P$使得矩阵$P^{T}AP$是对角阵$D$，所以$x^{T}Ax=y^T(P^{T}AP)y=y^{T}Dy$。

例：将二次型$Q(x)=x_1^2-8x_1{x}_2-5x_2^2$变为一个没有交叉乘积项的二次型。

解：

二次型$Q(x)=x_1^2-8x_1{x}_2-5x_2^2$对应的矩阵为：$A=\left[\begin{array}{cc}1& -4\\ -4& -5\end{array}\right]$，下面将$A$正交对角化。

$A$的特征值和对应的单位特征向量：

$\lambda =3:v_1=\left[\begin{array}{c}\frac{2}{\sqrt{5}}\\ -\frac{2}{\sqrt{5}}\end{array}\right]$

$\lambda =-7:v_2=\left[\begin{array}{c}\frac{1}{\sqrt{5}}\\ \frac{2}{\sqrt{5}}\end{array}\right]$

根据定理，对应于对称矩阵的不同特征值的特征向量是正交的，且能构成$R^2$的一个单位正交基。下面构造对角化分解矩阵：

$P=\left[\begin{array}{cc}\frac{2}{\sqrt{5}}& \frac{1}{\sqrt{5}}\\ -\frac{1}{\sqrt{5}}& \frac{2}{\sqrt{5}}\end{array}\right]$

$D=\left[\begin{array}{cc}3& 0\\ 0& -7\end{array}\right]$

使用MATLAB构造对角化分解矩阵

A =

     1    -4
    -4    -5

>> eig(A)

ans =

    -7
     3

>> [P D] = eig(A)

P =

    0.4472   -0.8944
    0.8944    0.4472


D =

    -7     0
     0     3

  可见，使用MATLAB求出来的分解矩阵$P$、$D$和手算出来的是有区别的。

（接上面计算）
对角化分解为：$A=PD{P}^{-1}$即$D=P^{-1}AP=P^{T}AP$

所以，对于本例，变量代换为：$x=Py$，其中$x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$，$y=\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]$

所以，对于二次型：$Q(x)=x_1^2-8x_1{x}_2-5x_2^2=x^{T}Ax=(Py{)}^{T}A(Py)=y^T(P^{T}AP)y=y^{T}Dy=\left[\begin{array}{cc}{y}_1& y_2\end{array}\right]\left[\begin{array}{cc}3& 0\\ 0& -7\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]=3y_1^2-7y_2^2$

因为$x=Py$，即$y=P^{-1}x=P^{T}x$，所以：

$y=\left[\begin{array}{cc}\frac{2}{\sqrt{5}}& -\frac{1}{\sqrt{5}}\\ \frac{1}{\sqrt{5}}& \frac{2}{\sqrt{5}}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$

可以根据这个式子（即新的二次型，关于$y$的二次型）来计算$Q(x)$值，例如上例中的
$Q(-3,1)=(-3{)}^2-8(-3\times 1)-5\times 1^2=28$

使用新二次型计算：
先算向量$y$：

$y=\left[\begin{array}{cc}\frac{2}{\sqrt{5}}& -\frac{1}{\sqrt{5}}\\ \frac{1}{\sqrt{5}}& \frac{2}{\sqrt{5}}\end{array}\right]\left[\begin{array}{c}-3\\ 1\end{array}\right]=\left[\begin{array}{c}-\frac{7}{\sqrt{5}}\\ -\frac{1}{\sqrt{5}}\end{array}\right]$

所以，$3y_1^2-7y_2^2=3\times \frac{49}{5}-7\times \frac{1}{5}=\frac{140}{5}=28$

可见，和前面使用原二次型$Q(x)=x_1^2-8x_1{x}_2-5x_2^2$计算结果是相符的。

主轴定理

  主轴定理：若$A$为$n\times n$的矩阵，那么存在一个正交变量代换$x=Py$将二次型$x^{T}Ax$变换为不含交叉乘积项的二次型$y^{T}Dy$。这里的矩阵$P$的列就是二次型$x^{T}Ax$的主轴，向量$y$是向量$x$在由这些主轴构造的$R^n$空间中的单位正交基下的坐标向量。

  主轴是标准图像经过旋转后的所到的位置的标准图形的坐标轴。例如，上例中，$Q(-3,1)=x_1^2-8x_1{x}_2-5x_2^2=28$是一个中心在原点，的椭圆，其长轴和短轴不在$x_1$和$x_2$上，而是分别在$y_1$和$y_2$上，而$y_1$的正方向，是对应的$P$矩阵的第一列的方向，$y_2$的正方向，是对应的$P$矩阵的第二列的方向。

上例总，$P=\left[\begin{array}{cc}\frac{2}{\sqrt{5}}& \frac{1}{\sqrt{5}}\\ -\frac{1}{\sqrt{5}}& \frac{2}{\sqrt{5}}\end{array}\right]$，所以$y_1$方向为$(2,-1)$，$y_2$方向为$(1,2)$。

正定二次型、正定矩阵

  正定二次型定义：如果一个二次型$Q$对所有的$x\ne 0$，都有$Q(x)>0$，则此二次型是正定的（positive definite）；如果一个二次型$Q$对所有的$x\ne 0$，都有$Q(x)<0$，则此二次型是负定的（negative definite）；如果$Q(x)$既有正值又有负值，那么是不定的（indefinite）。如果对所有$x$有$Q(x)\ge 0$，则$Q$是半正定的（positive semidefinite）；如果对所有$x$有$Q(x)\le 0$，则$Q$是半负定的（negative semidefinite）。

  定理：如果矩阵$A$是$n\times n$的对称矩阵，其二次型$x^{T}Ax$是正定的，当且仅当$A$的特征值都是正数；其二次型$x^{T}Ax$是负定的，当且仅当$A$的特征值都是负数；其二次型$x^{T}Ax$是不定的，当且仅当$A$的特征值有正有负。如果这个对称矩阵$A$的二次型是正定的，那这个矩阵$A$可以称为正定矩阵。负定矩阵和不定矩阵的定义可类推。

求二次型最值

  背景：对于$R^n$中的一个单位向量$x$的模可以用以下等价的形式描述：
$||x||=1$，$||x|{|}^2=1$，$x^{T}x=1$和$x_1^2+\cdots +x_n^2=1$。但是在实际应用中，常用$x^{T}x=1$的展开式$x_1^2+\cdots +x_n^2=1$来描述。当一个二次型没有交叉乘积项的时候，容易在限制条件$x^{T}x=1$下求出二次型$Q(x)$的最大和最小值。

例1：求$Q(x)=9x_1^2+4x_2^2+3x_3^2$在限制条件$x^{T}x=1$下的最大值和最小值。

解：
$x_1^2$和$x_2^2$都是非负的，所以对$x_1$、$x_2$进行放缩有：

$4x_2^2\le 9x_2^2$

$3x_3^2\le 9x_3^2$

所以

$Q(x)=9x_1^2+4x_2^2+3x_3^2\le 9x_1^2+9x_2^2+9x_3^2=9(x_1^2+x_2^2+x_3^2)=9$

所以，当$x$为单位向量时，$Q(x)$的最大值不超过9（当$x=(1,0,0)$时，取最大值9），所以$Q(x)=9$是在限制条件$x^{T}x=1$下的最大值。

下面求最小值：

$9x_1^2\ge 3x_1^2$

$4x_2^2\ge 3x_1^2$

所以：

$Q(x)=9x_1^2+4x_2^2+3x_3^2\ge 3x_1^2+3x_2^2+3x_3^2=3(x_1^2+x_2^2+x_3^2)=3$

即当当$x=(0,0,1)$时，$Q(x)=3$是在限制条件$x^{T}x=1$下的最小值。

总结：在本例中，二次型$Q(x)=9x_1^2+4x_2^2+3x_3^2$对应的矩阵的特征值是9、4、3，且最大、最小特征值分别等于在限制条件$x^{T}x=1$下的二次型$Q(x)=x^{T}Ax$的最大、最小值。本结论对任何二次型都成立。

例2：$A=\left[\begin{array}{cc}3& 0\\ 0& 7\end{array}\right]$，当$x$属于$R^2$时，$Q(x)=x^{T}Ax$。

可知矩阵$A$的特征值为3和7。由例1可知，最大、最小特征值分别等于在限制条件$x^{T}x=1$下的$Q(x)=x^{T}Ax$的最大、最小值，所以曲线上的最高点（因为对称，所以有2个最高点2个最低点）在$x_1{x}_2$平面上7个单位处，对应于特征向量$x=(0,\pm 1)$；曲线最低点在在$x_1{x}_2$平面上3个单位处，对应特征向量$x=(\pm 1,0)$

例3：$A=\left[\begin{array}{ccc}3& 2& 1\\ 2& 3& 1\\ 1& 1& 4\end{array}\right]$，求二次型$x^{T}Ax$在限制条件$x^{T}x=1$下的最大值和可以取到该最大值的单位向量。

解：

特征方程：$0=det(A-\lambda I)=-{\lambda }^3+10{\lambda }^2-27\lambda +18=-(\lambda -6)(\lambda -3)(\lambda -1)$

所以，特征值为1、3、6，最大特征值为6.

根据定理，二次型$x^{T}Ax$在限制条件$x^{T}x=1$下的最大值可以在最大的特征向量，即6，对应的单位特征向量$x$处取得：

解$(A-\lambda I)=(A-6I)x=0$

$\left[\begin{array}{cccc}-3& 2& 1& 0\\ 2& -3& 1& 0\\ 1& 1& -2& 0\end{array}\right]\to \left[\begin{array}{cccc}1& 0& -1& 0\\ 0& 1& -1& 0\\ 0& 0& 0& 0\end{array}\right]$

通解：$x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=x_3\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$

所以$\lambda =6$对应的特征向量为$v_1=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$，

单位化：$u_1=\left[\begin{array}{c}\frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\end{array}\right]$

总结：本例用到的定理：如果$A$是对称矩阵，$m$和$M$分别为在限制条件$x^{T}x=1$下的二次型$Q(x)=x^{T}Ax$的最小、最大值，那么$m$和$M$也同时分别为矩阵$A$的最小、最大特征值。如果$x$是对应于$M$的单位特征向量$u_1$，那么$x^{T}Ax=M$；如果$x$是对应于$m$的单位特征向量$u_2$，那么$x^{T}Ax=m$。

例4：求$9x_1^2+4x_2^2+3x_3^2$的最大值，限制条件为$x^{T}x=1$和$x^T{u}_1=0$，其中$u_1=(1,0,0)$。

解：
由观测可知，二次型$9x_1^2+4x_2^2+3x_3^2$对应的矩阵的最大特征值是9，

由例1知，$Q(x)$的最大值不超过9（当$x=(1,0,0)$时，取最大值9），所以$Q(x)=9$是在限制条件$x^{T}x=1$下的最大值，最大特征值9对应单位特征向量$u_1=(1,0,0)$。

由限制条件$x^T{u}_1=0$得：

$\left[\begin{array}{ccc}{x}_1& x_2& x_3\end{array}\right]\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]=x_1=0$

这就意味着，对于单位向量$u_1=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]$，有$x_2^2+x_3^3=1$

即
$Q(x)=9x_1^2+4x_2^2+3x_3^2=4x_2^2+3x_3^2\le 4x_2^2+4x_3^2=4$

在这样的限制条件下，二次型最大值不超过4，这个最大值可能在$x=(0,1,0)$处取得，而这是该二次型第二大的特征向量。

总结：如果限制条件为$x^{T}x=1$和$x^T{u}_1=0$（$u_1$为矩阵$A$最大特征值对应的单位特征向量），二次型$x^{T}Ax$的最大值为$A$第二大的特征值，且在对应于第二大特征值的特征向量$u_2$处取得。