MIT公开课18.06 Gilbert Strang 线性代数 笔记3 - 正定矩阵及其应用

第26讲：对称矩阵及正定性

对称矩阵

前面我们学习了矩阵的特征值与特征向量，也了解了一些特殊的矩阵及其特征值、特征向量，特殊矩阵的特殊性应该会反映在其特征值、特征向量中。如马尔科夫矩阵，有一特征值为$1$，本讲介绍（实）对称矩阵。

性质

描述

先提前介绍两个对称矩阵的特性：

1. 特征值为实数；（对比第21讲介绍的旋转矩阵，其特征值为纯虚数）
2. 特征向量相互正交（或者叫垂直prependicular）（当特征值重复时，特征向量也可以从子空间中选出相互正交正交的向量）
   典型的状况是，特征值不重复，特征向量相互正交。

证明

现在我们来证明性质1
对于矩阵$\underline{Ax=\lambda x}$，对于其共轭部分总有$\bar{A}\bar{x}=\bar{\lambda }\bar{x}$，根据前提条件我们只讨论实矩阵，则有$A\bar{x}=\bar{\lambda }\bar{x}$
将等式两边取转置有$\overline{{\bar{x}}^{T}A={\bar{x}}^T\bar{\lambda }}$
将“下划线”式两边左乘${\bar{x}}^T$有${\bar{x}}^{T}Ax={\bar{x}}^T\lambda x$
将“上划线”式两边右乘$x$有${\bar{x}}^{T}Ax={\bar{x}}^T\bar{\lambda }x$
观察发现这两个式子左边是一样的，所以${\bar{x}}^T\lambda x={\bar{x}}^T\bar{\lambda }x$，则有$\lambda =\bar{\lambda }$（这里有个前提条件，${\bar{x}}^{T}x\ne 0$），证毕。

观察这个前提条件，${\bar{x}}^{T}x=\left[\begin{array}{cccc}{\bar{x}}_1& {\bar{x}}_2& \cdots & {\bar{x}}_n\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]={\bar{x}}_1{x}_1+{\bar{x}}_2{x}_2+\cdots +{\bar{x}}_n{x}_n$，设$x_1=a+ib,{\bar{x}}_1=a-ib$则${\bar{x}}_1{x}_1=a^2+b^2$，所以有${\bar{x}}^{T}x>0$。而${\bar{x}}^{T}x$就是$x$长度的平方。

性质2的证明需看书，此处省略

谱定理，对称矩阵的分解

• 在通常（可对角化）情况下，一个矩阵可以化为：$A=S\Lambda S^{-1}$；

• 在矩阵对称的情况下，通过性质2可知，由特征向量组成的矩阵$S$中的列向量是相互正交的，此时如果我们把特征向量的长度统一化为$1$，就可以得到一组标准正交的特征向量
  则对于对称矩阵有$A=Q\Lambda Q^{-1}$，而对于标准正交矩阵，有$Q=Q^T$，所以对称矩阵可以写为$$A=Q\Lambda Q^T\text{\hspace{1em}(1)}$$
  观察$(1)$式，我们发现这个分解本身就代表着对称，${\left(Q\Lambda Q^T\right)}^T={\left(Q^T\right)}^T{\Lambda }^T{Q}^T=Q\Lambda Q^T$
  $(1)$式在数学上叫做谱定理（spectral theorem），谱就是指矩阵特征值的集合（该名称来自光谱，指一些纯事物的集合，就像将特征值分解成为特征值与特征向量）
  在力学上称之为主轴定理（principle axis theorem），从几何上看，它意味着如果给定某种材料，在合适的轴上来看，它就变成对角化的，方向就不会重复。
  拓展这个性质，当$A$为复矩阵，根据上面的推导，则矩阵必须满足$A={\bar{A}}^T$时，才有性质1、性质2成立（教授称具有这种特征值为实数、特征向量相互正交的矩阵为“好矩阵”）。

• 继续研究$A=Q\Lambda Q^T=[q_1{q}_2\cdots q_n]\left[\begin{array}{cccc}{\lambda }_1& & \cdots & \\ & {\lambda }_2& \cdots & \\ ⋮& ⋮& \ddots & ⋮\\ & & \cdots & {\lambda }_n\end{array}\right]\left[\begin{array}{c}{q}_1^T\\ q_2^T\\ ⋮\\ q_3^T\end{array}\right]=[q_1{q}_2\cdots q_n]\left[\begin{array}{c}{\lambda }_1{q}_1^T\\ {\lambda }_2{q}_2^T\\ ⋮\\ {\lambda }_3{q}_3^T\end{array}\right]={\lambda }_1{q}_1{q}_1^T+{\lambda }_2{q}_2{q}_2^T+\cdots +{\lambda }_n{q}_n{q}_n^T$
  （最后一个等式是由第3讲矩阵乘法的列乘以行的方法得到的）
  这个展开式中的$q{q}^T$，$q$是单位列向量所以$q^{T}q=1$，结合我们在第十五讲所学的投影矩阵的知识有$\frac{q{q}^T}{q^{T}q}=q{q}^T$是一个投影矩阵
  很容易验证其性质，比如平方它会得到$q{q}^{T}q{q}^T=q{q}^T$于是多次投影不变等。
  故有结论：
  每一个对称矩阵是一些列互相垂直的投影矩阵的组合

对称矩阵特征值的符号

在知道对称矩阵的特征值皆为实数后，我们再来讨论这些实数的符号，因为特征值的正负号会影响微分方程的收敛情况（第23讲，需要实部为负的特征值保证收敛）
直接计算特征值会很麻烦
主元的符号与特征向量的符号一致，因此我们可以用消元法取得矩阵的主元，观察主元的符号来确定特征值的符号。

并且还可以将矩阵平移7个单位矩阵，这样特征值平移了7，然后计算平移后矩阵的主元，就可以知道特征值有多少小于7，多少大于7

如果没有行交换，主元乘积 = 特征值乘积，因为他们都等于行列式

正定性

定义

特征值都是正数的对称矩阵是 正定矩阵（positive definite）

根据上面的性质有矩阵的主元也均为正

例子

举个例子，$\left[\begin{array}{cc}5& 2\\ 2& 3\end{array}\right]$
由主元乘积为行列式知其主元为$5,\frac{11}{5}$
按一般的方法求特征值有$\left|\begin{array}{cc}5-\lambda & 2\\ 2& 3-\lambda \end{array}\right|={\lambda }^2-8\lambda +11=0,\lambda =4\pm \sqrt{5}$

正定矩阵的另一个性质是，所有子行列式为正
对上面的例子有$\left|\begin{array}{c}5\end{array}\right|=5,\left|\begin{array}{cc}5& 2\\ 2& 3\end{array}\right|=11$。

早期学习的主元、中期学习的的行列式、后期学习的特征值，我们在这节课和后面几节课将把他们融为一体

知其一则知其三

这课的高潮是 在后面的课程，会将$n\times n$矩阵的这三个概念也融为一体，而不仅仅是对称矩阵

第27讲：复数矩阵和快速傅里叶变换

本讲主要介绍复数向量、复数矩阵的相关知识（包括如何做复数向量的点积运算、什么是复数对称矩阵等），以及傅里叶矩阵（最重要的复数矩阵）和快速傅里叶变换。

复数矩阵运算

先介绍复数向量，我们不妨换一个字母符号来表示：$z=\left[\begin{array}{c}{z}_1\\ z_2\\ ⋮\\ z_n\end{array}\right]$，向量的每一个分量都是复数
此时$z$不再属于${\mathbb{R}}^n$实向量空间，它现在处于${\mathbb{C}}^n$复向量空间。

计算复向量的模

对于实向量，我们计算模只需要计算$\left|v\right|=\sqrt{v^{T}v}$即可
而如果对复向量使用$z^{T}z$则有
$z^{T}z=\left[\begin{array}{cccc}{z}_1& z_2& \cdots & z_n\end{array}\right]\left[\begin{array}{c}{z}_1\\ z_2\\ ⋮\\ z_n\end{array}\right]=z_1^2+z_2^2+\cdots +z_n^2$
这里$z_i$是复数，虚部平方后为负，求模时本应相加的运算变成了减法（如向量$\left[\begin{array}{c}1\\ i\end{array}\right]$，左乘其转置后结果为$0$，但此向量的长度显然不是零）

根据上一讲我们知道，应使用$\left|z\right|=\sqrt{{\bar{z}}^{T}z}$，即$\left[\begin{array}{cccc}{\bar{z}}_1& {\bar{z}}_2& \cdots & {\bar{z}}_n\end{array}\right]\left[\begin{array}{c}{z}_1\\ z_2\\ ⋮\\ z_n\end{array}\right]$，使用向量共轭的转置乘以原向量即可（如向量$\left[\begin{array}{c}1\\ i\end{array}\right]$，左乘其共轭转置后结果为$\left[\begin{array}{cc}1& -i\end{array}\right]\left[\begin{array}{c}1\\ i\end{array}\right]=2$）

我们把共轭转置乘以原向量记为$z^{H}z$，$H$读作埃尔米特（人名为Hermite，形容词为Hermitian）

计算向量的内积

有了复向量模的计算公式，同理可得，对于复向量，内积不再是实向量的$y^{T}x$形式，复向量内积应为
$$y^{H}x$$

对称性

对于实矩阵，$A^T=A$即可表达矩阵的对称性
而对于复矩阵，我们同样需要求一次共轭${\bar{A}}^T=A$

举个例子
$$\left[\begin{array}{cc}2& 3+i\\ 3-i& 5\end{array}\right]$$
这是一个复数情况下的对称矩阵，叫做埃尔米特矩阵，有$$A^H=A$$

因为转置后对角线元素不变，而取共轭时也不能变，所以对角线元素只能是实数

这种矩阵的特征值是实数，特征向量相互垂直，跟实矩阵的对称矩阵的性质一致

正交性

在第17讲中，我们这样定义标准正交向量：$q_i^T{q}_j=\{\begin{array}{l}0i\ne j\\ 1i=j\end{array}$。现在，对于复向量我们需要求共轭：$${\bar{q}}_i^T{q}_j=q_i^H{q}_j=\{\begin{array}{l}0i\ne j\\ 1i=j\end{array}$$

第17讲中的标准正交矩阵：$Q=[q_1{q}_2\cdots q_n]$，有$Q^{T}Q=I$，现在对于复矩阵则有$$Q^{H}Q=I$$

就像人们给共轭转置起了个“埃尔米特”这个名字一样，正交性（orthogonal）在复数情况下也有了新名字，酉（unitary）
酉矩阵（unitary matrix）与正交矩阵类似，满足$Q^{H}Q=I$的性质

傅里叶矩阵

傅里叶矩阵是最著名的复矩阵，同时也是酉矩阵

$n$阶傅里叶矩阵 $F_n=\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& w& w^2& \cdots & w^{n-1}\\ 1& w^2& w^4& \cdots & w^{2(n-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& w^{n-1}& w^{2(n-1)}& \cdots & w^{(n-1{)}^2}\end{array}\right]$

对于每一个元素有$(F_n{)}_{ij}=w^{ij}i,j=0,1,2,\cdots ,n-1$（注意这里的$i$是从0开始的）
矩阵中的$w$是一个非常特殊的值，满足$w^n=1$，其公式为$w=e^{i2\pi /n}$
$w=\cos \frac{2\pi }{n}+i\sin \frac{2\pi }{n}$，易知$w$在复平面的单位圆上

在傅里叶矩阵中，当我们计算$w$的幂时，$w$在单位圆上的角度翻倍
比如在$6$阶情形下，$w=e^{i2\pi /6}$，即位于单位圆上$60^{\circ }$角处，其平方位于单位圆上$120^{\circ }$角处，而$w^6$位于$1$处
从开方的角度看，它们是$1$的$6$个六次方根，而一次的$w$称为原根。

• $4$阶傅里叶矩阵
  我们现在来看$4$阶傅里叶矩阵，它位于单位圆四分之一处，从x轴逆时针旋转90°
  先计算$w$，有$w^0=1,w^1=i,w^2=-1,w^3=-i$
  $F_4=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& i& i^2& i^3\\ 1& i^2& i^4& i^6\\ 1& i^3& i^6& i^9\end{array}\right]=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& i& -1& -i\\ 1& -1& 1& -1\\ 1& -i& -1& i\end{array}\right]$
  指数等于行序数乘列序数
  通过这个4阶矩阵可以得到一个四点傅里叶变换（离散），将其作用于四维向量，向量分别左乘$F_4$或者$F_4^{-1}$，一个是傅里叶变换，另一个是傅里叶逆变换

• $F_4^{-1}$
  矩阵的四个列向量正交，我们验证一下第二列和第四列
  ${\overline{c_2}}^T{c}_4=1-0+1-0=0$，正交
  不过我们应该注意到，$F_4$的列向量并不是标准的，我们可以给矩阵乘上系数$\frac{1}{2}$（除以列向量的长度）得到标准正交矩阵$F_4=\frac{1}{2}\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& i& -1& -i\\ 1& -1& 1& -1\\ 1& -i& -1& i\end{array}\right]$
  此时有$F_4^H{F}_4=I$
  于是该矩阵的逆矩阵就是其共轭转置$F_4^H$
  逆矩阵各列也是正交的

快速傅里叶变换（Fast Fourier transform/FFT）

$w_{32}$是$1$的$32$次方根，$w_{64}$是$1$的$64$次方根，因此$w_{32}$的辐角是$w_{64}$的两倍$$w_{64}=(e^{i2\pi /64}{)}^2=e^{i2\pi /32}=w_{32}$$
所以对于傅里叶矩阵，$F_6,F_3$、$F_8,F_4$、$F_{64},F_{32}$之间存在一定联系

例子

让我们举例来描述这种联系
有傅里叶矩阵$F_{64}$，一般情况下，用一个列向量右乘$F_{64}$需要约$64^2$次数值乘法，显然这个计算量是比较大的
我们想要减少计算量，于是想到分解$F_{64}$

分解$F_{64}$

$\left[F_{64}\right]=\left[\begin{array}{cc}I& D\\ I& -D\end{array}\right]\left[\begin{array}{cc}{F}_{32}& 0\\ 0& F_{32}\end{array}\right]\left[\begin{array}{ccccccccccc}1& & \cdots & & & 0& & \cdots & & & \\ 0& & \cdots & & & 1& & \cdots & & & \\ & 1& \cdots & & & & 0& \cdots & & & \\ & 0& \cdots & & & & 1& \cdots & & & \\ & & & \ddots & & & & & \ddots & & \\ & & & \ddots & & & & & \ddots & & \\ & & & \cdots & 1& & & & \cdots & 0& \\ & & & \cdots & 0& & & & \cdots & 1& \end{array}\right]$

我们从左到右来看等式右侧的这三个矩阵：

• 第一个矩阵由单位矩阵$I$和对角矩阵$D=\left[\begin{array}{ccccc}1& & & & \\ & w& & & \\ & & w^2& & \\ & & & \ddots & \\ & & & & w^{31}\end{array}\right]$组成，我们称这个矩阵为修正矩阵，显然其计算量来自$D$矩阵，对角矩阵的计算量约为$32$即这个修正矩阵的计算量约为$32$，单位矩阵的计算量忽略不计。

• 第二个矩阵是两个$F_{32}$与零矩阵组成的，计算量约为$2\times 32^2$。

• 第三个矩阵通常记为$P$矩阵，这是一个置换矩阵，其作用是讲将一个矩阵中的奇数列提到偶数列之前，将前一个矩阵从$[x_0{x}_1\cdots ]$变为$[x_0{x}_2\cdots x_1{x}_3\cdots ]$，这个置换矩阵的计算量也可以忽略不计
  （这里教授似乎在黑板上写错了矩阵，可以参考FFT、How the FFT is computed做进一步讨论）

至此我们把$64^2$复杂度的计算化简为$2\times 32^2+32$复杂度的计算

分解$F_{32}$

我们可以进一步化简$F_{32}$得到与$F_{16}$有关的式子：$\left[\begin{array}{cc}{I}_{32}& D_{32}\\ I_{32}& -D_{32}\end{array}\right]\left[\begin{array}{cccc}{I}_{16}& D_{16}& & \\ I_{16}& -D_{16}& & \\ & & I_{16}& D_{16}\\ & & I_{16}& -D_{16}\end{array}\right]\left[\begin{array}{cccc}{F}_{16}& & & \\ & F_{16}& & \\ & & F_{16}& \\ & & & F_{16}\end{array}\right]$$\left[\begin{array}{cc}{P}_{16}& \\ & P_{16}\end{array}\right]\left[P_{32}\right]$

（两个$P_{16}$矩阵的作用分别是，先奇偶分开，再将偶数中的奇偶分开，奇数中的奇偶分开，得到偶数中的偶数$0,4,8,12,16$，偶数中的奇数$2,6,10,14$及奇数中的偶数，奇数中的奇数）

$2\times 32^2+32$的计算量进一步分解为$2\times (2\times 16^2+16{)}^2+32$的计算量

复杂度分析

如此递归分解下去，我们最终得到含有一阶傅里叶矩阵的式子

而每一次分解的修正开销都为$32$，共有 ${\log }_{2}64=6$ 个修正矩阵，故总开销为$32\times 6$

由此，对于$n$阶傅里叶变换，无需$n^2$次乘法，只需$\frac{1}{2}n{\log }_{2}n$即可

感受FFT魅力

不妨再看看$n=10$的情况，不使用FFT时需要$n^2=1024\times 1024$次运算，使用FFT时只需要$\frac{n}{2}{\log }_{2}n=5\times 1024$次运算，运算量大约是原来的$\frac{1}{200}$！

复矩阵讨论完毕，下一讲回到实数上来，研究特征值、特征向量及至关重要的正定矩阵（这是实际应用中最常见的一种矩阵）

第28讲：正定矩阵和最小值

之后我们会将 主元，行列式，特征值还有新知识 不稳定性 融为一体
本讲我们会了解如何完整的测试一个矩阵是否正定，测试$x^{T}Ax$是否具有极小值，最后了解正定的几何意义——椭圆（ellipse）和正定性有关，双曲线（hyperbola）与正定无关
另外，本讲涉及的矩阵均为实对称矩阵。

正定性的判断

方法

我们仍然从二阶说起，有矩阵$A=\left[\begin{array}{cc}a& b\\ b& c\end{array}\right]$，判断其正定性有以下方法：

1. 矩阵的所有特征值大于零则矩阵正定：${\lambda }_1>0,{\lambda }_2>0$；
2. 矩阵的所有顺序主子阵（leading principal submatrix）的行列式（即顺序主子式，leading principal minor）大于零则矩阵正定：$a>0,ac-b^2>0$；
3. 矩阵消元后主元均大于零：$a>0,\frac{ac-b^2}{a}>0$；
4. 对任意$x$，有$x^{T}Ax>0$

大多数情况下使用4来定义正定性，而用前三条来验证正定性。

$2\times 2$阶矩阵举例

来计算一个例子：$A=\left[\begin{array}{cc}2& 6\\ 6& ?\end{array}\right]$，在$?$处填入多少才能使矩阵正定？

“刚好不满足”情形

令$?=18$，此时矩阵为$A=\left[\begin{array}{cc}2& 6\\ 6& 18\end{array}\right]$
$\det A=0$，此时的矩阵是半正定矩阵（positive semi-definite）
矩阵奇异，其中一个特征值必为$0$，从迹得知另一个特征值为$20$
矩阵的主元只有一个，为$2$

计算$x^{T}Ax$，得$\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{cc}2& 6\\ 6& 18\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=2x_1^2+12x_1{x}_2+18x_2^2$
这样我们得到了一个关于$x_1,x_2$的函数$f(x_1,x_2)=2x_1^2+12x_1{x}_2+18x_2^2$
这个函数不再是线性的，在本例中这是一个纯二次型（quadratic）函数，它没有线性部分、一次部分或更高次部分（$Ax$是线性的，但引入$x^T$后就成为了二次型）

当$?$取$18$时，判定1、2、3都是“刚好不满足”。

“一定不满足”情形

令$?=7$，矩阵为$A=\left[\begin{array}{cc}2& 6\\ 6& 7\end{array}\right]$
行列式变为$-22$，显然矩阵不是正定的
此时的函数为$f(x_1,x_2)=2x_1^2+12x_1{x}_2+7x_2^2$
如果取$x_1=1,x_2=-1$则有$f(1,-1)=2-12+7<0$。\

如果我们把$z=2x^2+12xy+7y^2$放在直角坐标系中，图像过原点$z(0,0)=0$，当$y=0$或$x=0$或$x=y$时函数为开口向上的抛物线，所以函数图像在某些方向上是正值；而在某些方向上是负值，比如$x=-y$, 函数图像是一个马鞍面（saddle）

$(0,0,0)$点称为鞍点（saddle point），它在某些方向上是极大值点，而在另一些方向上是极小值点（实际上函数图像的最佳观测方向是沿着特征向量的方向）

“一定满足”情形

令$?=20$，矩阵为$A=\left[\begin{array}{cc}2& 6\\ 6& 20\end{array}\right]$

测试正定性

$\det A=4$，迹为$trace(A)=22$，特征值均大于零，矩阵可以通过测试

$x^{T}Ax$图像

此时的函数为$f(x,y)=2x^2+12xy+20y^2$
函数在除$(0,0)$外处处为正
我们来看看$z=2x^2+12xy+20y^2$的图像
该函数的图像为一个开口向上的碗（抛物面/paraboloid）
在$(0,0)$点函数的一阶偏导数均为零，二阶偏导数均为正（马鞍面的一阶偏导数也为零，但二阶偏导数并不均为正）所以，函数在该点取极小值

如果令$z=1$，相当于使用$z=1$平面截取该函数图像，将得到一个椭圆曲线。另外，如果在$?=7$的马鞍面上截取曲线将得到一对双曲线。

$x^{T}Ax$函数表达式分析

在本例中（即二阶情形），如果能用平方和的形式来表示函数，则很容易看出函数是否恒为正
使用配方法得 $f(x,y)=2x^2+12xy+20y^2=2{\left(x+3y\right)}^2+2y^2$
如果是上面的$?=7$的情形，则有$f(x,y)=2(x+3y{)}^2-11y^2$
如果是$?=18$的情形，则有$f(x,y)=2(x+3y{)}^2$。

$A=LU$和配方法系数的联系

再来看这个矩阵的消元，$\left[\begin{array}{cc}2& 6\\ 6& 20\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 3& 1\end{array}\right]\left[\begin{array}{cc}2& 6\\ 0& 2\end{array}\right]$
这就是$A=LU$，可以发现矩阵$L$中的项与配平方中未知数的系数有关，而$U$的主元则与两个平方项外的系数有关，这也就是为什么正数主元得到正定矩阵。

二阶偏导数矩阵

在微积分中，一元函数取极小值需要一阶导数为零且二阶导数为正$\frac{\mathrm{d}u}{\mathrm{d}x}=0,\frac{{\mathrm{d}}^{2}u}{\mathrm{d}{x}^2}>0$
在线性代数中我们遇到了多元函数$f(x_1,x_2,\cdots ,x_n)$，要取极小值需要二阶偏导数矩阵为正定矩阵

根据微积分的知识，对于含两个变量的函数，某点存在极小值条件是
1.该点一阶导数为0
2.该点二阶导数大于0
3.该点有$f_{xx}\times f_{yy}>f_{xy}^2$

二阶偏导数矩阵型为

$$A=\left[\begin{array}{cc}{f}_{xx}& f_{xy}\\ f_{yx}& f_{yy}\end{array}\right]$$

为了满足极小值存在的条件2，3，需要两点：
1.矩阵中的主对角线元素（纯二阶导数）必须为正
2.主对角线元素必须足够大来抵消混合导数的影响
（因为二阶导数的求导次序并不影响结果，所以矩阵是对称的）

结合这两点，极小值判定条件2,3可以合并为：二阶偏导数矩阵必须是正定矩阵

至此，我们可以计算$n\times n$阶矩阵了

$3\times 3$阶矩阵举例

接下来计算一个三阶矩阵，$A=\left[\begin{array}{ccc}2& -1& 0\\ -1& 2& -1\\ 0& -1& 2\end{array}\right]$
它是正定的吗？函数$x^{T}Ax$是多少？图像是什么样的？

• 先来计算矩阵的顺序主子式，分别为$2,3,4$
  再用顺序主子式来计算主元，分别为$2,\frac{3}{2},\frac{4}{3}$
  计算特征值，${\lambda }_1=2-\sqrt{2},{\lambda }_2=2,{\lambda }_3=2+\sqrt{2}$
  满足正定性验证条件
• 计算$x^{T}Ax=2x_1^2+2x_2^2+2x_3^2-2x_1{x}_2-2x_2{x}_3$，函数表达式在除$(0,0,0$点外，其他点均大于0
• 图像是四维的抛物面
  当我们在$f(x_1,x_2,x_3)=1$处截取该面，将得到一个椭圆体
  一般椭圆体有三条轴，特征值的大小决定了三条轴的长度，而特征向量的方向就是三条轴的方向
  

现在我们可以将矩阵$A$分解，$A=Q\Lambda Q^T$（因为是对称矩阵的对角化，所以可以用矩阵的转置替代逆）（$Q$：特征向量矩阵，$\Lambda$特征值矩阵）
我们把这个分解称为主轴定理（principal axis theorem），即特征向量说明主轴的方向、特征值说明主轴的长度。

这个 矩阵分解 是目前特征值理论中最重要的分解

第29讲：相似矩阵和若尔当形

正定矩阵

在本讲的开始，先接着上一讲来继续说一说正定矩阵。

正定性把以前的内容都串联起来

• 正定矩阵的逆矩阵也是正定矩阵
  证明：
  我们将正定矩阵分解为$A=S\Lambda S^{-1}$，引入其逆矩阵$A^{-1}=S{\Lambda }^{-1}{S}^{-1}$
  正定矩阵的特征值均为正值，所以其逆矩阵的特征值也必为正值（即原矩阵特征值的倒数）
  所以，正定矩阵的逆矩阵也是正定的。

• $A,B$均为正定矩阵，那么$A+B$也为正定矩阵
  证明：
  我们可以从判定$x^T(A+B)x>0$入手
  根据条件有$x^{T}Ax>0,x^{T}Bx>0$
  将两式相加即得到$x^T(A+B)x>0$
  （$x^{T}Ax+x^{T}Bx=x^T(Ax+Bx)=x^T(A+B)x$）
  所以正定矩阵之和也是正定矩阵。

• 有$m\times n$矩阵$A$，$A$各列线性无关，则$A^{T}A$正定
  最小二乘法得到的$A^{T}A$（是对称矩阵，方阵）
  用数字打比方就像是一个平方，用向量打比方就像是向量的长度平方，而对于矩阵，有$A^{T}A$正定
  证明：
  在式子两边分别乘$x^T$得到$x^T{A}^{T}Ax>0$
  分组得到$(Ax{)}^T(Ax)>0$
  相当于得到了向量$Ax$的长度平方，$|Ax{|}^2\ge 0$
  在$x\ne 0$时，$|Ax{|}^2>0$，则需要$Ax$的零空间中仅有零向量
  即$A$的各列线性无关时，（$A$各列线性相关则半正定）即可保证在$x\ne 0$时，$|Ax{|}^2>0$，$A^{T}A$正定
  （可联系16讲$A^{T}A$可逆的证明）

• $A^{T}A$是正定矩阵为计算提供了很多便利
  在矩阵数值计算中，正定矩阵消元不需要进行“行交换”操作，也不必担心主元过小或为零，正定矩阵具有良好的计算性质

接下来进入本讲的正题

相似矩阵

定义

$A，B$是两个$n\times n$矩阵，对于某矩阵$M$满足$B=M^{-1}AM$时，称$A,B$互为相似矩阵。

例子

特征值无重复

对于在对角化一讲（第二十二讲）中学过的式子$S^{-1}AS=\Lambda$，则有$A$相似于$\Lambda$。

• 举个例子，$A=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$
  容易通过迹和行列式得到相应的对角矩阵$\Lambda =\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right]$
  另外，可以随意构造一个矩阵 $M=\left[\begin{array}{cc}1& 4\\ 0& 1\end{array}\right]$
  则$B=M^{-1}AM=\left[\begin{array}{cc}1& -4\\ 0& 1\end{array}\right]\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]\left[\begin{array}{cc}1& 4\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}-2& -15\\ 1& 6\end{array}\right]$。
  我们来计算这几个矩阵的的特征值（利用迹与行列式的性质），${\lambda }_{\Lambda }=3,1$、${\lambda }_A=3,1$、${\lambda }_B=3,1$。

对角阵的特征向量矩阵为 单位矩阵：
$S$为$I$时满足$S^{-1}\Lambda S=\Lambda$

上三角矩阵求逆：
用分块矩阵方法求逆
$A=\left[\begin{array}{cc}B& C\\ 0& D\end{array}\right]$
当$B,D$可逆时$A$也可逆, 且
$A^{-1}=\left[\begin{array}{cc}{B}^{-1}& B^{-1}C{D}^{-1}\\ 0& D^{-1}\end{array}\right]$

可得结论：相似矩阵有相同的特征值。

• 继续上面的例子，特征值为$3,1$的这一族矩阵都是相似矩阵，如$\left[\begin{array}{cc}3& 7\\ 0& 1\end{array}\right]$、$\left[\begin{array}{cc}1& 7\\ 0& 3\end{array}\right]$，其中最特殊的是$\Lambda$。

现在我们来证明这个结论：
有$Ax=\lambda x,B=M^{-1}AM$
第一个式子化为$AM{M}^{-1}x=\lambda x$
接着两边同时左乘$M^{-1}$得$M^{-1}AM{M}^{-1}x=\lambda M^{-1}x$
进行适当的划分得$\left(M^{-1}AM\right)M^{-1}x=\lambda M^{-1}x$
即$B{M}^{-1}x=\lambda M^{-1}x$。

由$B{M}^{-1}=\lambda M^{-1}x$可得
结论：$B$的特征值也为$\lambda$，而特征向量变为$M^{-1}x$

以上就是我们得到的一组特征值为$3,1$的矩阵，它们具有相同的特征值。接下来看特征值重复时的情形。

特征值有重复

• 特征值重复可能会导致特征向量短缺
  来看一个例子，设${\lambda }_1={\lambda }_2=4$
  写出具有这种特征值的两个矩阵$\left[\begin{array}{cc}4& 0\\ 0& 4\end{array}\right]$，$\left[\begin{array}{cc}4& 1\\ 0& 4\end{array}\right]$
  其实，具有这种特征值的矩阵可以分为两族
  1.第一族仅有一个矩阵$\left[\begin{array}{cc}4& 0\\ 0& 4\end{array}\right]$，它只与自己相似
  （因为$M^{-1}\left[\begin{array}{cc}4& 0\\ 0& 4\end{array}\right]M=4M^{-1}IM=4I=\left[\begin{array}{cc}4& 0\\ 0& 4\end{array}\right]$，所以无论$M$如何取值该对角矩阵都只与自己相似）
  2.另一族就是剩下的诸如$\left[\begin{array}{cc}4& 1\\ 0& 4\end{array}\right]$的矩阵，它们都是相似的
  它们只有一个特征向量，因此它们不能对角化
  在这个“大家族”中，$\left[\begin{array}{cc}4& 1\\ 0& 4\end{array}\right]$是“最好”的一个矩阵，称为若尔当标准形。

• 继续上面的例子，我们在给出几个这一族的矩阵$\left[\begin{array}{cc}4& 1\\ 0& 4\end{array}\right],\left[\begin{array}{cc}5& 1\\ -1& 3\end{array}\right],\left[\begin{array}{cc}4& 0\\ 17& 4\end{array}\right]$，我们总是可以构造出一个满足$trace(A)=8,\det A=16$的矩阵，这些矩阵总是在这一个“家族”中

对于无法对角化的矩阵，我们都可以通过特殊的方法完成近似“对角化”，变成若尔当标准形

若尔当形在过去是线性代数的核心知识，但现在不是了（现在是下一讲的奇异值分解），因为它并不容易计算。

若尔当形

仅仅是特征向量的数目相同还不够
我们再来看一个更加“糟糕”的例子：特征向量数目也相同但不相似

• 矩阵$\left[\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right]$
  其特征值为四个$0$。
  很明显矩阵的秩为$2$，所以其零空间的维数为$4-2=2$，即该矩阵有两个特征向量
  在所有的 对角线上方第一个元素，每让一个$0$变为$1$，特征向量个数就减少一个。可以发现这个矩阵有两个$1$，特征向量个数减2

• 矩阵$\left[\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 1\\ 0& 0& 0& 0\end{array}\right]$
  从特征向量的数目看来这两个矩阵是相似的，其实不然。

  若尔当认为第一个矩阵是由一个$3\times 3$的块与一个$1\times 1$的块组成的
  $\left[\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right]$
  而第二个矩阵是由两个$2\times 2$矩阵组成的
  $\left[\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 1\\ 0& 0& 0& 0\end{array}\right]$
  这些分块被称为若尔当块。

若尔当块：$i$阶的若尔当块$J_i$，只有一个重复的特征值${\lambda }_i$，仅有一个特征向量

上面的例子中，虽然特征向量的数目相同，但是分块的大小不同，我们便认为这两个矩阵不相似

若尔当定理：
每一个矩阵$A$都相似于一个若尔当阵
$J=\left[\begin{array}{cccc}{J}_1& & & \\ & J_2& & \\ & & \ddots & \\ & & & J_d\end{array}\right]$
若尔当块个数=矩阵特征向量个数（每一块对应一个特征向量）

$n$阶方阵有$n$个不同的特征值时
它可以对角化，所以它的若尔当矩阵就是$\Lambda$，共$n$个特征向量，有$n$个若尔当块。
这是我们关注的情况
特征值重复的情况我们不怎么重视（求若尔当阵比较困难，这里没有给出）

不过我们最关心的还是正定矩阵

第30讲：奇异值分解（SVD）

SVD是矩阵最终和最好的分解

本讲我们介绍将一个矩阵分解为$A=U\Sigma V^T$
分解的因子分别为正交矩阵、对角矩阵、正交矩阵
与前面几讲的分解不同的是，这两个正交矩阵通常是不同的，而且这个式子可以对任意矩阵使用，不限于方阵、可对角化的方阵等。

对比之前的分解

• 正定矩阵分解：
  在正定一讲中（第28讲）我们知道一个正定矩阵可以分解为$A=Q\Lambda Q^T$的形式
  由于$A$的对称性，其特征向量是正交的。并且$\Lambda$矩阵中的元素皆为正，这就是正定矩阵的奇异值分解
  在这种特殊的分解中，我们只需要一个正交矩阵$Q$就可以使等式成立。

• 矩阵对角化：
  在对角化一讲中（第22讲），我们知道可对角化的矩阵能够分解为$A=S\Lambda S^T$的形式
  其中$S$的列向量由$A$的特征向量组成，但$S$并不是正交矩阵，所以这不是我们希望得到的奇异值分解

理论概述

我们现在要做的是
在$A$的列空间中找到一组标准正交基$v_1,v_2,\cdots ,v_r$
这组基在$A$的作用下可以转换为$A$的行空间中的一组标准正交基$u_1,u_2,\cdots ,u_r$。

用矩阵语言描述为
$A[v_1{v}_2\cdots v_r]=[{\sigma }_1{u}_1{\sigma }_2{u}_2\cdots {\sigma }_r{u}_r]=[u_1{u}_2\cdots u_r]\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_n\end{array}\right]$
即$A{v}_1={\sigma }_1{u}_1,A{v}_2={\sigma }_2{u}_2,\cdots ,A{v}_r={\sigma }_r{u}_r$，其中$\sigma$是缩放因子，而在$A$的左零空间和零空间体现是$\sigma$为$0$

另外，如果算上左零、零空间，我们同样可以对左零、零空间取标准正交基，然后写为

$A[v_1{v}_2\cdots v_r{v}_{r+1}\cdots v_m]=[u_1{u}_2\cdots u_r{u}_{r+1}\cdots u_n]\left[\begin{array}{cccc}{\sigma }_1& & & \\ & \ddots & & \\ & & {\sigma }_r& \\ & & & \left[\begin{array}{c}0\end{array}\right]\end{array}\right]$

此时$U$是$m\times m$正交矩阵，$\Sigma$是$m\times n$对角矩阵，$V^T$是$n\times n$正交矩阵。

最终可以写为$AV=U\Sigma$
可以看出这十分类似对角化的公式：矩阵$A$被转化为对角矩阵$\Sigma$，我们也注意到$U,V$是两组不同的正交基（在正定的情况下，$U,V$都变成了$Q$）
进一步可以写作$A=U\Sigma V^{-1}$，因为$V$是标准正交矩阵所以还可写为$A=U\Sigma V^T$

例子

$N(A)$只有零向量

目标

分解$A=\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]$，我们需要找到：

• 行空间${\mathbb{R}}^2$的标准正交基$v_1,v_2$；
• 列空间${\mathbb{R}}^2$的标准正交基$u_1,u_2$；
• ${\sigma }_1>0,{\sigma }_2>0$。

思路

在$A=U\Sigma V^T$中有两个标准正交矩阵需要求解，我们希望一次只解一个，如何先将$U$消去来求$V$？

这个技巧经常出现在长方形矩阵中（最小二乘法）：求$A^{T}A$
这是一个对称正定矩阵（至少是半正定矩阵）
于是有$A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T$
由于$U$是标准正交矩阵，所以$U^{T}U=I$
而${\Sigma }^T\Sigma$是对角线元素为${\sigma }^2$的对角矩阵

现在有$A^{T}A=V\left[\begin{array}{cccc}{\sigma }_1^2& & & \\ & {\sigma }_2^2& & \\ & & \ddots & \\ & & & {\sigma }_n^2\end{array}\right]V^T$
所以$V$即是$A^{T}A$的特征向量矩阵而${\Sigma }^2$是$A^{T}A$的特征值矩阵

同理，我们只想求$U$时，用$A{A}^T$消掉$V$即可。

具体计算

求解$\Sigma$和$V^T$

我们来计算$A^{T}A=\left[\begin{array}{cc}4& -3\\ 4& 3\end{array}\right]\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]=\left[\begin{array}{cc}25& 7\\ 7& 25\end{array}\right]$
对于简单的矩阵，特征向量可以直接观察得到：$A^{T}A\left[\begin{array}{c}1\\ 1\end{array}\right]=32\left[\begin{array}{c}1\\ 1\end{array}\right],A^{T}A\left[\begin{array}{c}1\\ -1\end{array}\right]=18\left[\begin{array}{c}1\\ -1\end{array}\right]$
化为单位向量有${\sigma }_1=32,v_1=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right],{\sigma }_2=18,v_2=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}\end{array}\right]$。

到目前为止，我们得到$\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]=\left[\begin{array}{cc}{u}_{?}& u_{?}\\ u_{?}& u_{?}\end{array}\right]\left[\begin{array}{cc}\sqrt{32}& 0\\ 0& \sqrt{18}\end{array}\right]\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right]$

求解$U$

接下来继续求解$U$。

$A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U{\Sigma }^2{U}^T$，求出$A{A}^T$的特征向量即可得到$U$

$\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]\left[\begin{array}{cc}4& -3\\ 4& 3\end{array}\right]=\left[\begin{array}{cc}32& 0\\ 0& 18\end{array}\right]$

观察得$A{A}^T\left[\begin{array}{c}1\\ 0\end{array}\right]=32\left[\begin{array}{c}1\\ 0\end{array}\right],A{A}^T\left[\begin{array}{c}0\\ 1\end{array}\right]=18\left[\begin{array}{c}0\\ 1\end{array}\right]$

但是我们不能直接使用这一组特征向量
因为式子$AV=U\Sigma$明确告诉我们，一旦$V$确定下来，$U$也必须取能够满足该式的向量
所以此处$A{v}_2=\left[\begin{array}{c}0\\ -\sqrt{18}\end{array}\right]=u_2{\sigma }_2=\left[\begin{array}{c}0\\ -1\end{array}\right]\sqrt{18}$，则$u_1=\left[\begin{array}{c}1\\ 0\end{array}\right],u_2=\left[\begin{array}{c}0\\ -1\end{array}\right]$。（这个问题在本讲的官方笔记中有详细说明）

我们发现$A^{T}A$与$A{A}^T$特征值相同
补充：$AB$的特征值与$BA$的特征值相同
证明：
1.取$AB$的特征值$\lambda \ne 0$，$v$是$AB$在特征值取$\lambda$时的特征向量
则有$Bv\ne 0$
并有$\lambda Bv=B(\lambda v)=B(ABv)=(BA)Bv$
所以$Bv$是$BA$在特征值取同一个$\lambda$时的特征向量。
2.取$\lambda =0$
则$0=\det AB=\det A\det B=\det BA$，所以$\lambda =0$也是$BA$的特征值，得证。
（证明来自Are the eigenvalues of AB equal to the eigenvalues of BA? (Citation needed!)）

最终，我们得到$\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]\left[\begin{array}{cc}\sqrt{32}& 0\\ 0& \sqrt{18}\end{array}\right]\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right]$

$N(A)$不止有零向量

$A=\left[\begin{array}{cc}4& 3\\ 8& 6\end{array}\right]$
这是个秩一矩阵，有零空间
$A$的行空间为$\left[\begin{array}{c}4\\ 3\end{array}\right]$的倍数，$A$的列空间为$\left[\begin{array}{c}4\\ 8\end{array}\right]$的倍数。

• 标准化向量得$v_1=\left[\begin{array}{c}0.8\\ 0.6\end{array}\right],u_1=\frac{1}{\sqrt{5}}\left[\begin{array}{c}1\\ 2\end{array}\right]$。
• $A^{T}A=\left[\begin{array}{cc}4& 8\\ 3& 6\end{array}\right]\left[\begin{array}{cc}4& 3\\ 8& 6\end{array}\right]=\left[\begin{array}{cc}80& 60\\ 60& 45\end{array}\right]$
  由于$A$是秩一矩阵，则$A^{T}A$也不满秩，所以必有特征值$0$，则另特征值一个由迹可知为$125$
• 继续求零空间的特征向量，有$v_2=\left[\begin{array}{c}0.6\\ -0,8\end{array}\right],u_2=\frac{1}{\sqrt{5}}\left[\begin{array}{c}2\\ -1\end{array}\right]$

最终得到$\left[\begin{array}{cc}4& 3\\ 8& 6\end{array}\right]=\left[\begin{array}{cc}1& \underline{2}\\ 2& \underline{-1}\end{array}\right]\left[\begin{array}{cc}\sqrt{125}& 0\\ 0& \underline{0}\end{array}\right]\left[\begin{array}{cc}0.8& 0.6\\ \underline{0.6}& \underline{-0.8}\end{array}\right]$，其中下划线部分都是与零空间相关的部分。

总结

在四个基本子空间选出合适的基：

• $v_1,\cdots ,v_r$是行空间的标准正交基；
• $u_1,\cdots ,u_r$是列空间的标准正交基；
• $v_{r+1},\cdots ,v_n$是零空间的标准正交基；
• $u_{r+1},\cdots ,u_m$是左零空间的标准正交基。

$A{v}_i={\sigma }_i{u}_i$
向量$v$之间没有耦合，$u$也没有
$A$乘以每个$v$都能对应一个$u$的方向

在课程最后，我们会更深入了解SVD

第31讲：线性变换及对应矩阵

定义

如何判断一个操作是不是线性变换？线性变换需满足以下两个要求：

$$\begin{gathered} T(v+w)=T(v)+T(w) \\ T(cv)=cT(v) \end{gathered}$$

即变换$T$需要同时满足加法和数乘不变的性质
将两个性质合成一个式子为：$T(cv+dw)=cT(v)+dT(w)$

例子

反例

例1

二维空间的平移操作，即平面平移：

比如，上图中向量长度翻倍，再做平移，明显与向量平移后再翻倍的结果不一致。

有时我们也可以用一个简单的特例判断线性变换，比如是否满足检查$T(0)=0$
该例零向量平移后结果并不为零

所以平面平移操作并不是线性变换。

例2

求模运算，$T(v)=\Vert v\Vert ,T:{\mathbb{R}}^3\to {\mathbb{R}}^1$
这显然不是线性变换
虽然我们将向量翻倍则其模翻倍
但如果我们将向量翻倍的倍数取负，而其模不能为负，就会不满足条件
所以$T(-v)\ne -T(v)$

正例

例3

二维空间中的投影操作，$T:{\mathbb{R}}^2\to {\mathbb{R}}^2$
它可以将某向量投影在一条特定直线上
检查一下投影操作，如果我们将向量长度翻倍，则其投影也翻倍
两向量相加后做投影与两向量做投影再相加结果一致
所以投影操作是线性变换。

例4

旋转$45^{\circ }$操作，$T:{\mathbb{R}}^2\to {\mathbb{R}}^2$
也就是将平面内一个向量映射为平面内另一个向量
检查可知，如果向量翻倍，则旋转后同样翻倍
两个向量先旋转后相加，与这两个向量先相加后旋转得到的结果一样。

所以从上面的例子我们知道，投影与旋转都是线性变换。

例5

矩阵乘以向量，$T(v)=Av$
这也是一个（一系列）线性变换
不同的矩阵代表不同的线性变换
根据矩阵的运算法则有$A(v+w)=A(v)+A(w),A(cv)=cAv$
比如取$A=\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]$，作用于平面上的向量$v$，会导致$v$的$x$分量不变，而$y$分量取反，也就是图像沿$x$轴翻转。

对应矩阵

线性变换的核心，就是该变换使用的对应的矩阵。

比如我们需要做一个线性变换，将一个三维向量降至二维，$T:{\mathbb{R}}^3\to {\mathbb{R}}^2$
则在$T(v)=Av$中，$v\in {\mathbb{R}}^3,T(v)\in {\mathbb{R}}^2$
所以$A$应当是一个$2\times 3$矩阵。

一个线性变换对应一个矩阵 原理

如果我们希望知道线性变换$T$对整个输入空间${\mathbb{R}}^n$的影响
我们可以找到空间的一组基$v_1,v_2,\cdots ,v_n$
检查$T$对每一个基的影响$T(v_1),T(v_2),\cdots ,T(v_n)$
由于输入空间中的任意向量都满足：

$$v=c_1{v}_1+c_2{v}_2+\cdots +c_n{v}_n\text{\hspace{1em}(1)}$$

所以我们可以根据$T(v)$推出线性变换$T$对空间内任意向量的影响，得到：

$$T(v)=c_{1}T(v_1)+c_{2}T(v_2)+\cdots +c_{n}T(v_n)\text{\hspace{1em}(2)}$$

现在我们需要考虑，如何把一个与坐标无关的线性变换变成一个与坐标有关的矩阵呢？

在$1$式中，$c_1,c_2,\cdots ,c_n$就是向量$v$在基$v_1,v_2,\cdots ,v_n$上的坐标
比如分解向量$v=\left[\begin{array}{c}3\\ 2\\ 4\end{array}\right]=3\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]+2\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]+4\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$
式子将向量$v$分解在一组标准正交基$\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right],\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right],\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$上
当然，我们也可以选用矩阵的特征向量作为基向量，基的选择是多种多样的。

例子

选取投影的特征向量作为基

我们打算构造一个矩阵$A$用以表示线性变换$T:{\mathbb{R}}^n\to {\mathbb{R}}^m$
我们需要两组基，一组用以表示输入向量，一组用以表示输出向量
令$v_1,v_2,\cdots ,v_n$为输入向量的基，这些向量来自${\mathbb{R}}^n$
令$w_1,w_2,\cdots ,w_m$作为输出向量的基，这些向量来自${\mathbb{R}}^m$。

我们用二维空间的投影矩阵作为例子：

设输入向量的基为$v_1,v_2$，$v_1$就在投影上，而$v_2$垂直于投影方向
输出向量的基为$w_1,w_2$
而$v_1=w_1,v_2=w_2$
那么如果输入向量为$v=c_1{v}_1+c_2{v}_2$
则输出向量为$T(v)=c_1{v}_1$
也就是线性变换去掉了法线方向的分量
输入坐标为$(c_1,c_2)$，输出坐标变为$(c_1,0)$。

找出这个矩阵并不困难，$Av=w$，则有$\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]\left[\begin{array}{c}{c}_1\\ c_2\end{array}\right]=\left[\begin{array}{c}{c}_1\\ 0\end{array}\right]$。

本例中我们选取的基极为特殊
一个沿投影方向，另一个沿投影法线方向
其实这两个向量都是投影矩阵的特征向量（$Ax=\lambda x$，向量投影后和原向量同向，故只有投影方向和法线方向的向量可以）
所以我们得到的线性变换矩阵是一个对角矩阵，这是一组很好的基。
结论：如果以线性变换的特征向量作为基，则得到的矩阵将是一个包含特征值的对角矩阵。

选取标准基作为基

继续这个例子，我们不再选取特征向量作为基，而使用标准基$v_1=\left[\begin{array}{c}1\\ 0\end{array}\right],v_2=\left[\begin{array}{c}0\\ 1\end{array}\right]$
我们继续使用相同的基作为输出空间的基，即$v_1=w_1,v_2=w_2$
此时投影矩阵为$P=\frac{a{a}^T}{a^{T}a}=\left[\begin{array}{cc}\frac{1}{2}& \frac{1}{2}\\ \frac{1}{2}& \frac{1}{2}\end{array}\right]$
这个矩阵明显没有上一个矩阵“好”，不过这个矩阵也是一个不错的对称矩阵。

总结通用的确定线性变换矩阵$A$的方法：

• 确定输入空间的基$v_1,v_2,\cdots ,v_n$，确定输出空间的基$w_1,w_2,\cdots ,w_m$；
• 计算$T(v_1)=a_{11}{w}_1+a_{21}{w}_2+\cdots +a_{m1}{w}_m$，求出的系数$a_{i1}$就是矩阵$A$的第一列；
• 继续计算$T(v_2)=a_{12}{w}_1+a_{22}{w}_2+\cdots +a_{m2}{w}_m$，求出的系数$a_{i2}$就是矩阵$A$的第二列；
• 以此类推计算剩余向量直到$v_n$；
• 最终得到矩阵$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$。

求导也是一种线性变换

最后我们介绍一种不一样的线性变换，$T=\frac{\mathrm{d}}{\mathrm{d}x}$：

• 设输入为$c_1+c_{2}x+c_3{x}^2$，基为$1,x,x^2$；

• 则输出为导数：$c_2+2c_{3}x$，基为$1,x$；

  所以我们需要求一个从三维输入空间到二维输出空间的线性变换，目的是求导
  求导运算其实是线性变换
  因此我们只要知道少量函数的求导法则（如$\sin x,\cos x,e^x$），就能求出它们的线性组合的导数。

  有$A\left[\begin{array}{c}{c}_1\\ c_2\\ c_3\end{array}\right]=\left[\begin{array}{c}{c}_2\\ 2c_3\end{array}\right]$，从输入输出的空间维数可知，$A$是一个$2\times 3$矩阵，$A=\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 2\end{array}\right]$。

最后，矩阵的逆相当于对应线性变换的逆运算
矩阵的乘积相当于线性变换的乘积
实际上矩阵乘法也源于线性变换
下节我们将继续讨论这个问题

第32讲：基变换和图像压缩

图像压缩

背景

本讲我们介绍一种图片有损压缩的一种方法：JPEG

假设我们有一张图片，长宽皆为$512$个像素，我们用$x_i$来表示第$i$个像素，如果是灰度照片，通常$x_i$可以在$[0,255]$上取值，也就是8 bits
对于承载这张图片信息的向量$x$来说，有$x\in {\mathbb{R}}^n,n=512^2$
而如果是彩色照片，通常需要三个量来表示一个像素，则向量长度也会变为现在的三倍。

如此大的数据不经过压缩很难广泛传播
教学录像采用的压缩方法就是JPEG（Joint Photographic Expert Group，联合图像专家组）
该方法采用的就是基变换的方式压缩图像
比如说一块干净的黑板，其附近的像素值应该非常接近，此时如果一个像素一个像素的描述黑白灰度值就太浪费空间了，所以标准基在这种情况下并不能很好的利用图片的特性

标准基和别的基

我们知道，标准基是 $\left[\begin{array}{c}1\\ 0\\ ⋮\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 1\\ ⋮\\ 0\end{array}\right]\cdots \left[\begin{array}{c}0\\ 0\\ ⋮\\ 1\end{array}\right]$
但我们想寻找一个更好的基。

我们试试使用别的基描述图片，比如：

• 基中含有的一个向量 ${\left[\begin{array}{cccc}1& 1& \cdots & 1\end{array}\right]}^T$，即分量全为$1$的向量，一个向量就可以完整的给出所有“像素一致图像”的信息；
• 另一个向量 ${\left[\begin{array}{ccccc}1& -1& \cdots & 1& -1\end{array}\right]}^T$，正负交替出现，比如描述国际象棋棋盘；
• 第三个个向量 ${\left[\begin{array}{ccccc}1& 1& \cdots & -1& -1\end{array}\right]}^T$，一半正一半负，比如描述一半亮一半暗的图片；

傅里叶基

现在我们来介绍傅里叶基，以$8\times 8$傅里叶基为例（这表示我们每次只处理$8\times 8$像素的一小块图像）：

$F_n=\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& w& w^2& \cdots & w^{n-1}\\ 1& w^2& w^4& \cdots & w^{2(n-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& w^{n-1}& w^{2(n-1)}& \cdots & w^{(n-1{)}^2}\end{array}\right],w=e^{i2\pi /n},n=8$
我们不需要深入$8$阶傅里叶基的细节，先看看使用傅里叶基的思路是怎样的。

每次处理$8\times 8$的一小块时，会遇到$64$个像素，也就是$64$个基向量，$64$个系数，在$64$维空间中利用傅里叶向量做基变换：

• 改变基（无损）
  输入信号$x$为$64$维标准基向量$\stackrel{基变换}{\to }$输出信号$c$为$x$在傅里叶基下的$64$个系数。

  （注意这里做的都是无损的步骤，我们只是重新选了${\mathbb{R}}^{64}$的一组基，接着把信号用这组基表达出来）

• 压缩（有损）
  一种方法是扔掉较小的系数，这叫做阈值量化（thresholding）
  我们设定一个阈值，任何不在阈值范围内的基向量、系数都将丢弃
  虽然有信息损失，但是只要阈值设置合理，肉眼几乎无法区别压缩前后的图片
  经由此步处理，向量$c$变为$\hat{c}$，而$\hat{c}$将有很多$0$。

  在平滑信号中
  通常${\left[\begin{array}{cccc}1& 1& \cdots & 1\end{array}\right]}^T$向量很难被丢弃，它通常具有较大的系数
  但是${\left[\begin{array}{ccccc}1& -1& \cdots & 1& -1\end{array}\right]}^T$向量的系数就比较小了
  前一个向量称作低频信号，频率为$0$
  后一个向量称作高频信号，也是我们能够得到的最高频率的信号，如果信号是噪音或抖动，它的系数就比较大了。

  比如讲课的视频图像信号，这种平滑的情形下输出的大多是低频信号，很少出现噪音。

• 重构信号
  用系数$\hat{c}$乘以对应的基向量并求和得$\hat{x}=\sum {\hat{c}}_i{v}_i$
  但是这个求和不再是$64$项求和了，因为压缩后的系数中有很多零存在
  假如我们压缩后$\hat{c}$中仅有三个非零项，那么压缩比将近达到$21:1$。

我们再来提一下视频压缩：
视频是一系列连续图像，且相邻的帧其向量表示非常接近，而我们的压缩算法就需要利用这个相近性质（在实际生活中，从时间与空间的角度讲，事物不会瞬间改变）

小波基

接下来介绍另一组基，它是傅里叶基的竞争对手，名为小波（wavelets），以${\mathbb{R}}^8$为例：
$\left[\begin{array}{c}1\\ 1\\ 1\\ 1\\ 1\\ 1\\ 1\\ 1\end{array}\right]\left[\begin{array}{c}1\\ 1\\ 1\\ 1\\ -1\\ -1\\ -1\\ -1\end{array}\right]\left[\begin{array}{c}1\\ 1\\ -1\\ -1\\ 0\\ 0\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ 1\\ 1\\ -1\\ -1\end{array}\right]\left[\begin{array}{c}1\\ -1\\ 0\\ 0\\ 0\\ 0\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 1\\ -1\\ 0\\ 0\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ 1\\ -1\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ 0\\ 0\\ 1\\ -1\end{array}\right]$

可以看出傅里叶基中频率最高的向量为小波后四个基向量之和。

在标准基下的一组（按八个一组计算，$P\in {\mathbb{R}}^8$）
像素$P=\left[\begin{array}{c}{p}_1\\ p_2\\ ⋮\\ p_8\end{array}\right]=c_1{w}_1+c_2{w}_2+\cdots +c_n{w}_n=[w_1{w}_2\cdots w_n]\left[\begin{array}{c}{c}_1\\ c_2\\ ⋮\\ c_n\end{array}\right]$
即$P=WC$
我们需要计算像素向量在另一组基下系数，所以有$C=W^{-1}P$。

此时我们发现，如果选取“好的基”会使得逆矩阵的求解过程变简单，所谓“好的基”：

• 计算快

  我们需要大量使用$P=WC，C=W^{-1}P$来计算整幅图在另一个基下的表达
  在傅里叶变换中我们学习了快速傅里叶变换（FFT），同样的在小波变换中也有快速小波变换（FWT）；

  另外的，我们需要计算其逆矩阵，所以这个逆矩阵计算也必须快
  观察小波基不难发现基向量相互正交，假设我们已经对小波基做了标准化处理，则小波基是一组标准正交基，所以有$W^{-1}=W^T$。

• 仅需少量向量即可最大限度的重现图像

  仅仅是计算快是不够的，标准基计算最快，但我们丢弃一些系数时，会丢掉大量的像素值导致图像损坏过于严重

  因为在图像压缩时，我们会舍弃较小的系数，比如$c_5,c_6,c_7,c_8$，所以后四个的基向量都会被舍弃，重现图像时仅使用前四个基向量的线性组合，而好的基选取会在使用较少基的前提下保证图像质量不会有较大损失。

  题外话：JPEG2000标准会将小波基纳入压缩算法。我们上面介绍的是最简单的一组小波基，而FBI的指纹识别或JPEG2000的压缩算法纳入的是更加平滑的小波基，不会使用像上面介绍的那种直接从$1$变为$-1$的基。
  要想继续了解小波基，可以参考一篇非常精彩的文章能不能通俗的讲解下傅立叶分析和小波分析之间的关系？——“咚懂咚懂咚“的答案

基变换

定义

将目标基的基向量按列组成矩阵$W$，则基变换就是$\left[x\right]\stackrel{x=Wc}{\to }\left[c\right]$

基变换对线性变换的影响

看一个例子，有线性变换$T:{\mathbb{R}}^8\to {\mathbb{R}}^8$
在第一组基$v_1,v_2,\cdots ,v_8$上$T$对应的线性变换矩阵为$A$
在第二组基$w_1,w_2,\cdots ,w_8$上$T$对应的线性变换矩阵为$B$
先说结论，矩阵$A,B$是相似的，也就是有$B=M^{-1}AM$，而$M$就是基变换矩阵

基变换后会发生两件事：

1. 每个向量都会有一组新的坐标，而$x=Wc$就是新旧坐标的关系；

2. 每个线性变换都会有一个新的对应矩阵，而$B=M^{-1}AM$就是新矩阵之间的联系。

   再来回顾一下什么是$A$矩阵：
   对于第一组基$v_1,v_2,\cdots ,v_8$，要完全了解线性变换$T$，只需要知道$T$作用在基的每一个向量上会产生什么结果即可
   因为在这个基下的每一个向量都可以写成$x=c_1{v}_1+c_2{v}_2+\cdots +c_8{v}_8$的形式，所以$T(x)=c_{1}T(v_1)+c_{2}T(v_2)+\cdots +c_{8}T(v_8)$。

   而且$T(v_1)=a_{11}{v}_1+a_{21}{v}_2+\cdots +a_{81}{v}_8,T(v_2)=a_{12}{v}_1+a_{22}{v}_2+\cdots +a_{82}{v}_8,\cdots$
   则矩阵$\left[\begin{array}{c}A\end{array}\right]=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$

   这些都是上一讲结尾所涉及的知识。

例子

最后我们以一个最好的基收场
设$v_1,v_2,\cdots ,v_n$是一组特征向量，也就是$T(v_i)={\lambda }_1{v}_i$（$T(v_i)$和$v_i$同向）
那么矩阵$A$是什么？

继续使用线性变换中学到的
输入的第一个向量$v_1$经由$T$加工后得到${\lambda }_1{v}_1$
第二个向量$v_2\stackrel{T}{\to }{\lambda }_2{v}_2$
继续做下去，最终有$v_n=v_n\stackrel{T}{\to }{\lambda }_n{v}_n$
对$v_i$来说，变换后，除了${\lambda }_i{v}_i$外的其他基向量都变为$0$，因此
矩阵$A=\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right]$

这是一个非常完美的基，我们在图像处理中最想要的就是这种基
但是找出像素矩阵的特征向量代价太大
所以我们找了一些代价小同时效果也不错的基，比如小波基、傅里叶基等等。

第33讲：复习三

在上一次复习中，我们已经涉及了求特征值与特征向量（通过解方程$\det (A-\lambda I)=0$得出$\lambda$，再将$\lambda$带入$A-\lambda I$求其零空间得到$x$）

我们学了什么

• 解微分方程$\frac{\mathrm{d}u}{\mathrm{d}t}=Au$，并介绍了指数矩阵$e^{At}$；
• 介绍了对称矩阵的性质$A=A^T$
  了解了其特征值均为实数且总是存在足量的特征向量（即使特征值重复特征向量也不会短缺，总是可以对角化）
  同时对称矩阵的特征向量正交，所以对称矩阵对角化的结果可以表示为$A=Q\Lambda Q^T$
• 接着我们学习了正定矩阵；
• 然后学习了相似矩阵，$B=M^{-1}AM$，矩阵$A,B$特征值相同
  其实相似矩阵是用不同的基表示相同的东西
  $B^k=M^{-1}{A}^{k}M$
• 最后我们学习了奇异值分解$A=U\Sigma V^T$。

习题

1. 解方程$\frac{\mathrm{d}u}{\mathrm{d}t}=Au=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& -1\\ 0& 1& 0\end{array}\right]u$（这里未给出$u_0$，就不完全解出来了）

   ①解的形式
   首先通过$A$的特征值/向量求通解$u(t)=c_1{e}^{{\lambda }_{1}t}{x}_1+c_2{e}^{{\lambda }_{2}t}{x}_2+c_3{e}^{{\lambda }_{3}t}{x}_3$，很明显矩阵是奇异的，所以有${\lambda }_1=0$；

   ②解特征值
   继续观察矩阵会发现$A^T=-A$，这是一个反对称矩阵（anti-symmetric）或斜对陈矩阵（skew-symmetric）
   这与我们在第21讲介绍过的旋转矩阵类似，它的特征值应该为纯虚数（特征值在虚轴上），所以我们猜测其特征值应为$0\cdot i,b\cdot i,-b\cdot i$
   通过解$\det (A-\lambda I)=0$验证一下：
   $\left[\begin{array}{ccc}-\lambda & -1& 0\\ 1& -\lambda & -1\\ 0& 1& \lambda \end{array}\right]={\lambda }^3+2\lambda =0,解得{\lambda }_1=0，{\lambda }_2=\sqrt{2}i,{\lambda }_3=-\sqrt{2}i$。

   ③状态
   此时$u(t)=c_1+c_2{e}^{\sqrt{2}it}{x}_2+c_3{e}^{-\sqrt{2}it}{x}_3$
   $e^{\sqrt{2}it}$始终在复平面单位圆上，所以$u(t)$及不发散也不收敛，但它具有周期性
   $u(0)=c_1+c_2+c_3$，如果使$e^{\sqrt{2}iT}=1$，即$\sqrt{2}iT=2\pi i$则也能得到$u(T)=c_1+c_2+c_3$，周期$T=\pi \sqrt{2}$

   ④使用指数矩阵来解方程 $u(t)=e^{At}u(0)$
   如果矩阵可以对角化（在本例中显然可以）
   则$A=S\Lambda S^{-1},e^{At}=S{e}^{\Lambda t}{S}^{-1}=S\left[\begin{array}{cccc}{e}^{{\lambda }_{1}t}& & & \\ & e^{{\lambda }_{1}t}& & \\ & & \ddots & \\ & & & e^{{\lambda }_{1}t}\end{array}\right]S^{-1}$
   这个公式在能够快速计算$S,\lambda$时很方便求解。

   另外，反对称矩阵同对称矩阵一样，具有正交的特征向量
   让我们想想当矩阵满足什么条件时，其特征向量相互正交？
   答案是必须满足$A{A}^T=A^{T}A$
   对称矩阵$A=A^T$满足此条件，同时反对称矩阵$A=-A^T$也满足此条件，而正交矩阵$Q^{-1}=Q^T$同样满足此条件，这三种矩阵的特征向量都是相互正交的

2. 已知矩阵的特征值${\lambda }_1=0,{\lambda }_2=c,{\lambda }_3=2$，特征向量$x_1=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right],x_2=\left[\begin{array}{c}1\\ -1\\ 0\end{array}\right],x_3=\left[\begin{array}{c}1\\ 1\\ -2\end{array}\right]$：

   （1）$c$如何取值才能保证矩阵可以对角化？
   其实可对角化只需要有足够的线性无关的特征向量即可，而现在特征向量已经足够
   所以$c$可以取任意值。

   （2）$c$如何取值才能保证矩阵对称？
   我们知道
   对称矩阵的特征值均为实数
   且这里给出的特征向量是正交的
   有了实特征值及正交特征向量，我们就可以得到对称矩阵
   所以$c$取实数即可

   （3）$c$如何取值才能使得矩阵正定？
   已经有一个零特征值了，所以矩阵不可能是正定的
   但如果$c$取非负实数，可以是半正定的，

   （4）$c$如何取值才能使得矩阵是一个马尔科夫矩阵？
   在第二十四讲我们知道马尔科夫矩阵的性质：
   必有一特征值等于$1$，其余特征值均小于$1$
   所以$A$不可能是马尔科夫矩阵。

   （5）$c$取何值才能使得$P=\frac{A}{2}$是一个投影矩阵？
   我们知道投影矩阵的一个重要性质是$P^2=P$
   所以有对其特征值有${\lambda }^2=\lambda$，即$\lambda =0,1$
   所以$c=0,2$

   题设中的特征向量正交意义重大
   如果没有正交这个条件，则矩阵$A$不会是对称、正定、投影矩阵
   因为特征向量的正交性我们才能直接去看特征值的性质

3. 复习奇异值分解，$A=U\Sigma V^T$：

   先求正交矩阵$V$：$A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T=V\left({\Sigma }^T\Sigma \right)V^T$
   所以$V$是矩阵$A^{T}A$的特征向量矩阵，而矩阵${\Sigma }^T\Sigma$是矩阵$A^{T}A$的特征值矩阵，即$A^{T}A$的特征值为${\sigma }^2$（奇异值就是这些${\sigma }^2$）

   接下来应该求正交矩阵$U$：$A{A}^T=U{\Sigma }^T{V}^{T}V\Sigma U^T=U\left({\Sigma }^T\Sigma \right)U^T$ （可以发现$A$对称时$U=V$）
   但是请注意，我们在这个式子中无法确定特征向量的符号
   我们需要使用$A{v}_i={\sigma }_i{u}_i$，通过已经求出的$v_i$来确定$u_i$的符号（$AV=U\Sigma$），进而求出$U$

   已知$A=\left[u_1{u}_2\right]\left[\begin{array}{cc}3& 0\\ 0& 2\end{array}\right][v_1{v}_2{]}^T$

   从已知的$\Sigma$矩阵可以看出，$A$矩阵是非奇异矩阵，因为它没有零奇异值
   如果把$\Sigma$矩阵中的$2$改成$-5$，则题目就不再是奇异值分解了，因为奇异值不可能为负
   如果将$2$变为$0$，则$A$是奇异矩阵，它的秩为$1$，零空间为$1$维，$v_2$在其零空间中（可验算得$\left[u_1{u}_2\right]\left[\begin{array}{cc}3& 0\\ 0& 2\end{array}\right][v_1{v}_2{]}^T{v}_2=0$）
   SVD虽然消耗不少时间，但它展示了矩阵具备的一切优良特性

4. $A$是正交对称矩阵

（1）它的特征值具有什么特点
首先，对于对称矩阵，有特征值均为实数
然后是正交矩阵，直觉告诉我们$|\lambda |=1$
来证明一下，对于$Qx=\lambda x$，我们两边同时取模有$\Vert Qx\Vert =|\lambda |\Vert x\Vert$，而正交矩阵不会改变向量长度，所以有$\Vert x\Vert =|\lambda |\Vert x\Vert$，因此$\lambda =\pm 1$

（2）$A$是正定的吗？
并不一定，因为特征向量可以取$-1$。

（3）$A$的特征值没有重复吗？
不是，因为特征值只能取$\pm 1$，如果矩阵大于$2$阶则必定有重复特征值。

（4）$A$可以被对角化吗？
是的，任何对称矩阵（$\Lambda =I^{-1}\Lambda I$）、任何正交矩阵（$A=Q^{-1}\Lambda Q$）都可以被对角化。

（5）$A$是非奇异矩阵吗？
是的，正交矩阵都是非奇异矩阵。
因为它的特征值只能取$1,-1$，不能$0$

（6）证明$P=\frac{1}{2}(A+I)$是投影矩阵

法一：使用投影矩阵的性质证明
①首先由于$A$是对称矩阵，则$P$一定是对称矩阵
②接下来需要验证$P^2=P$
$\frac{1}{4}\left(A^2+2A+I\right)=\frac{1}{2}(A+I)$
$A$是正交矩阵则$A^T=A^{-1}$，而$A$又是对称矩阵则$A=A^T=A^{-1}$，所以$A^2=I$
带入原式有$\frac{1}{4}(2A+2I)=\frac{1}{2}(A+I)$，得证

法二：使用特征值验证
$A$的特征值可以取$\pm 1$，则$A+I$的特征值可以取$0,2$，所以$\frac{1}{2}(A+I)$的特征值为$0,1$
特征值满足投影矩阵且它又是对称矩阵，得证。

第34讲：左右逆和伪逆

前面我们涉及到的逆（inverse）都是指左、右乘均成立的逆矩阵，即$A^{-1}A=I=A{A}^{-1}$。在这种情况下
$m\times n$矩阵$A$满足$m=n=rank(A)$，也就是满秩方阵。

左逆（left inserve）

$r,m,n$关系

记得我们在最小二乘一讲（第16讲）介绍过列满秩的情况，也就是列向量线性无关，但行向量通常不是线性无关的。常见的列满秩矩阵$A$满足$m>n=rank(A)$。

$Ax=b$的解的情形

列满秩时，列向量线性无关，所以其零空间中只有零解
方程$Ax=b$
1.可能有一个唯一解（$b$在$A$的列空间中，此特解就是全部解，因为通常的特解可以通过零空间中的向量扩展出一组解集，而此时零空间只有列向量）
2.也可能无解（$b$不在$A$的列空间中）（行向量可以不是线性无关的，因此右端项在消元后有时不会出现$0=0$）

另外，此时行空间属于${\mathbb{R}}^n$，也正印证了与行空间互为正交补的零空间中只有零向量

$A_{left}^{-1}$

现在来观察$A^{T}A$
也就是在$m>n=rank(A)$的情况下，$n\times m$矩阵乘以$m\times n$矩阵，结果为一个满秩的$n\times n$矩阵，所以$A^{T}A$是一个可逆矩阵
也就是说$\underbrace{{\left(A^{T}A\right)}^{-1}{A}^T}A=I$成立
而大括号部分的${\left(A^{T}A\right)}^{-1}{A}^T$称为长方形矩阵$A$的左逆

$$A_{left}^{-1}={\left(A^{T}A\right)}^{-1}{A}^T$$

顺便复习一下最小二乘一讲
通过关键方程$A^{T}A\hat{x}=A^{T}b$，$A_{left}^{-1}$被当做一个系数矩阵乘在$b$向量上
求得$b$向量投影在$A$的列空间之后的解$\hat{x}={\left(A^{T}A\right)}^{-1}{A}^{T}b$
如果我们强行给矩阵$A$右乘一个左逆，得到的矩阵就是投影矩阵$P=A{\left(A^{T}A\right)}^{-1}{A}^T$ (来自$p=A\hat{x}=A{\left(A^{T}A\right)}^{-1}{A}^T$，它将右乘的向量$b$投影在矩阵$A$的列空间中)

再来观察$A{A}^T$矩阵，这是一个$m\times m$矩阵，秩为$rank(A{A}^T)=n<m$，也就是说$A{A}^T$是不可逆的，那么接下来我们看看右逆。

右逆（right inverse）

$r,m,n$关系

可以与左逆对称的看，右逆也就是研究$m\times n$矩阵$A$行满秩的情况，此时$n>m=rank(A)$
对称的，其左零空间中仅有零向量，即没有行向量的线性组合能够得到零向量。

$Ax=b$的解的情形

行满秩时，矩阵的列空间将充满向量空间$C(A)={\mathbb{R}}^m$（$m=r$），所以方程$Ax=b$总是有解集，由于消元后有$n-m$个自由变量，所以方程的零空间为$n-m$维。

$A_{right}^{-1}$

与左逆对称，再来观察$A{A}^T$
在$n>m=rank(A)$的情况下，$m\times n$矩阵乘以$n\times m$矩阵，结果为一个满秩的$m\times m$矩阵
所以此时$A{A}^T$是一个满秩矩阵，也就是$A{A}^T$可逆
所以$A\underbrace{A^T\left(A{A}^T\right)}=I$，大括号部分的$A^T\left(A{A}^T\right)$称为长方形矩阵的右逆

$$A_{right}^{-1}=A^T\left(A{A}^T\right)$$

同样的，如果我们强行给右逆右乘矩阵$A$，将得到另一个投影矩阵$P=A^T\left(A{A}^T\right)A$
与上一个投影矩阵不同的是，这个矩阵的$A$和$A^T$互换了
所以这是一个能够将右乘的向量$b$投影在$A$的行空间中。

伪逆（pseudo inverse）

$r,m,n$关系

前面我们提及了逆（方阵满秩），并讨论了左逆（矩阵列满秩）、右逆（矩阵行满秩），现在看一下第四种情况，$m\times n$矩阵$A$不满秩的情况

有$m\times n$矩阵$A$，满足$rank(A)<min(m,n)$，则

• 列空间$C(A)\in {\mathbb{R}}^m,\dim C(A)=r$，左零空间$N\left(A^T\right)\in {\mathbb{R}}^m,\dim N\left(A^T\right)=m-r$，列空间与左零空间互为正交补；
• 行空间$C\left(A^T\right)\in {\mathbb{R}}^n,\dim C\left(A^T\right)=r$，零空间$N(A)\in {\mathbb{R}}^n,\dim N(A)=n-r$，行空间与零空间互为正交补。

在基本子空间中的意义

现在任取一个向量$x$，乘上$A$后结果$Ax$一定落在矩阵$A$的列空间$C(A)$中
而$x$维度为$r$，$Ax$维度也为$r$
那么我们现在猜测，输入向量$x$全部来自矩阵的行空间，而输出向量$Ax$全部来自矩阵的列空间，并且是一一对应的关系
也就是${\mathbb{R}}^n$的$r$维子空间到${\mathbb{R}}^m$的$r$维子空间的映射。

而矩阵$A$现在有这些零空间存在，其作用是将某些向量变为零向量，这样${\mathbb{R}}^n$空间的所有向量都包含在行空间与零空间中，所有向量都能由行空间的分量和零空间的分量构成
但如果我们只看行空间中的向量，那就全部变换到列空间中了。

那么，我们现在只看行空间与列空间，在行空间中任取两个向量$x,y\in C(A^T)$，有$Ax\ne Ay$
所以从行空间到列空间，变换$A$是个不错的映射
如果限制在这两个空间上，$A$可以说“是个可逆矩阵”，那么它的逆就称作伪逆，而伪逆的作用就是将列空间的向量一一映射回行空间中
通常，伪逆记作$A^{+}$，因此$Ax=(Ax),y=A^{+}(Ay)$。

现在我们来证明对于$x,y\in C\left(A^T\right),x\ne y$，有$Ax,Ay\in C(A)$，则$Ax\ne Ay$
反证法：

• 假设$Ax=Ay$，则有$A(x-y)=0$，即向量$x-y\in N(A)$；
• 另一方面，向量$x,y\in C\left(A^T\right)$，所以两者之差$x-y$向量也在$C\left(A^T\right)$中，即$x-y\in C\left(A^T\right)$；
• 此时满足这两个结论要求的仅有一个向量，即零向量，同时属于这两个正交的向量空间，从而得到$x=y$，与题设中的条件矛盾，得证。

应用

背景

伪逆在统计学中非常有用，以前我们做最小二乘需要矩阵列满秩这一条件，只有矩阵列满秩才能保证$A^{T}A$是可逆矩阵，而统计中经常出现重复测试，会导致列向量线性相关，在这种情况下$A^{T}A$就成了奇异矩阵，这时候就需要伪逆。

计算伪逆$A^{+}$

其中一种方法是使用奇异值分解

• $A=U\Sigma V^T$，其中的对角矩阵型为$\Sigma =\left[\begin{array}{cccc}{\sigma }_1& & & \\ & \ddots & & \\ & & {\sigma }_2& \\ & & & \left[\begin{array}{c}0\end{array}\right]\end{array}\right]$，对角线非零的部分来自$A^{T}A,A{A}^T$比较好的部分，剩下的来自左/零空间。

• 我们先来看一下$\Sigma$矩阵的伪逆是多少
  这是一个$m\times n$矩阵，$rank(\Sigma )=r$，${\Sigma }^{+}=\left[\begin{array}{cccc}\frac{1}{{\sigma }_1}& & & \\ & \ddots & & \\ & & \frac{1}{{\sigma }_r}& \\ & & & \left[\begin{array}{c}0\end{array}\right]\end{array}\right]$
  左乘伪逆和右乘伪逆有个小区别：
  $\Sigma$是一个$n\times m$矩阵
  则有$\Sigma {\Sigma }^{+}={\left[\begin{array}{cccc}1& & & \\ & \ddots & & \\ & & 1& \\ & & & \left[\begin{array}{c}0\end{array}\right]\end{array}\right]}_{m\times m}$
  ${\Sigma }^{+}\Sigma ={\left[\begin{array}{cccc}1& & & \\ & \ddots & & \\ & & 1& \\ & & & \left[\begin{array}{c}0\end{array}\right]\end{array}\right]}_{n\times n}$

• 观察$\Sigma {\Sigma }^{+}$和${\Sigma }^{+}\Sigma$不难发现
  $\Sigma {\Sigma }^{+}$是将向量投影到列空间上的投影矩阵
  而${\Sigma }^{+}\Sigma$是将向量投影到行空间上的投影矩阵
  我们不论是左乘还是右乘伪逆，得到的不是单位矩阵，而是投影矩阵
  该投影将向量带入比较好的空间（行空间和列空间，而不是左/零空间）

• 接下来我们来求$A$的伪逆：
  $U^{-1}=U^T$，$(V^T{)}^{-1}=V$，所以：

$$A^{+}=V{\Sigma }^{+}{U}^T$$

($U,V$求逆就是取转置，对角矩阵$\Sigma$求逆就是求倒数，可见奇异值分解的魅力

第35讲：期末复习

依然是从以往的试题入手复习知识点。

1. 已知$m\times n$矩阵$A$，有$Ax=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]$无解；$Ax=\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]$仅有唯一解
   （1） 求关于$m,n,rank(A)$的信息

   首先，最容易判断的是$m=3$
   根据第一个条件可知，矩阵不满秩，有$r<m$
   根据第二个条件可知，零空间仅有零向量，也就是矩阵消元后没有自由变量，列向量线性无关，所以有$r=n$。

   综上，有$m=3>n=r$。

   （2）写出一个矩阵$A$的例子

   $A=\left[\begin{array}{cc}0& 0\\ 1& 0\\ 0& 1\end{array}\right]$

   （3）判断题（填T或F）
   ①$\det A^{T}A=\det A{A}^T$
   （F）
   因为$A^{T}A$可逆而$A{A}^T$不可逆，可逆时行列式为$0$，不可逆不为$0$，所以行列式不可能相等（但是对于方阵，由于$\det AB=\det A\det B=\det BA$，所以成立）

   ②$A^{T}A$可逆
   （T）
   因为$r=n$，$A^{T}A$是$n\times n$矩阵，且秩也为$r$

   ③$A{A}^T$正定
   （F）
   因为$A{A}^T$是一个$3$阶方阵，而$A{A}^T$秩为$2$，有一特征值为$0$，所以不是正定矩阵。

   不过$A{A}^T$一定是半正定矩阵
   证明：
   要证明对称矩阵$A$半正定， $x^{T}Ax\ge 0$即可
   $x^T(A{A}^T)x=(A^{T}x{)}^T(A^{T}x)$
   这是 $A^{T}x$的内积, 恒有$A^{T}x\ge 0$
   所以 $A{A}^T$ 半正定

   （4）求证$A^{T}y=c$有无数个解
   因为$A$的列向量线性无关，所以$A^T$的行向量线性无关，所以至少有一个解
   $\dim N\left(A^T\right)=m-r>0$，零空间不止有零向量，所以有无数个解

2. 设$A=\left[v_1{v}_2{v}_3\right]$
   （1）$Ax=v_1-v_2+v_3$，求$x$。

   按列计算矩阵相乘，有$x=\left[\begin{array}{c}1\\ -1\\ 1\end{array}\right]$。

   （2）若$Ax=v_1-v_2+v_3=0$，则解是唯一的吗？为什么?
   如果解是唯一的，则零空间中只有零向量
   而在此例中$x=\left[\begin{array}{c}1\\ -1\\ 1\end{array}\right]$就在零空间中，所以解不唯一

   （3）若$v_1,v_2,v_3$是标准正交向量，那么怎样的线性组合$c_1{v}_1+c_2{v}_2$能够最接近$v_3$？
   此问是考察投影概念
   由于是正交向量，$v_3$在由$v_1，v_2$确定的平面内的投影为$0$向量
   所以$c_1=0，c_2=0$时最接近$v_3$

3. 马尔科夫矩阵$A=\left[\begin{array}{ccc}.2& .4& .3\\ .4& .2& .3\\ .4& .4& .4\end{array}\right]$
   （1）求其特征值

   前两列之和为第三列的两倍，所以是奇异矩阵
   奇异矩阵总有一个特征值为$0$，而马尔科夫矩阵总有一个特征值为$1$，剩下一个特征值从矩阵的迹得知为$-0.2$。

   （2）$u_k=A^k{u}_0,u_0=\left[\begin{array}{c}0\\ 10\\ 0\end{array}\right]$，求其稳态
   先代入特征值${\lambda }_1=0,{\lambda }_2=1,{\lambda }_3=-0.2$查看稳态$u_k=c_1{\lambda }_1^k{x}_1+c_2{\lambda }_2^k{x}_2+c_3{\lambda }_3^k{x}_3$
   得知，当$k\to \infty$，第一项与第三项都会消失，剩下$u_{\infty }=c_2{x}_2$

   我们再求出${\lambda }_2$对应的特征向量
   带入特征值求解$(A-I)x=0$
   有$\left[\begin{array}{ccc}-.8& .4& .3\\ .4& -.8& .3\\ .4& .4& -.6\end{array}\right]\left[\begin{array}{c}?\\ ?\\ ?\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]$
   可以消元得，也可以直接观察得到$x_2=\left[\begin{array}{c}3\\ 3\\ 4\end{array}\right]$

   剩下就是求$c_2$了，可以通过$u_0$一一解出每个系数，但是这就需要解出每一个特征向量
   另一种方法是，我们可以通过马尔科夫矩阵的特性知道，对于马尔科夫过程的每一个$u_k$都有其分量之和与初始值分量之和相等（联想麻省和加州人口迁移的例子，人的总量不会增加也不会减少）
   所以对于$x_2=\left[\begin{array}{c}3\\ 3\\ 4\end{array}\right]$，$3+3+4=10$，所以有$c_2=1$
   所以最终结果是$u_{\infty }=\left[\begin{array}{c}3\\ 3\\ 4\end{array}\right]$

4. 对于二阶方阵，根据给出的性质，给出一个方阵实例或者说明不存在这样的方阵

   （1）求投影在直线$a=\left[\begin{array}{c}4\\ -3\end{array}\right]$上的投影矩阵
   应为$P=\frac{a{a}^T}{a^{T}a}$。

   （2）特征值特征向量 ${\lambda }_1=2,x_1=\left[\begin{array}{c}1\\ 2\end{array}\right]，{\lambda }_2=3,x_2=\left[\begin{array}{c}2\\ 1\end{array}\right]$
   从对角化公式得$A=S\Lambda S^{-1}=\left[\begin{array}{cc}1& 2\\ 2& 1\end{array}\right]\left[\begin{array}{cc}0& 0\\ 0& 3\end{array}\right]{\left[\begin{array}{cc}1& 2\\ 2& 1\end{array}\right]}^{-1}$，解之即可。

   （3）$A$是一个实矩阵，且对任意矩阵$B$，$A$都不能分解成$A=B^{T}B$
   我们知道$B^{T}B$是对称的，所以给出一个非对称矩阵$A$即可。

   （4）矩阵$A$有正交的特征向量，但$A$不是对称矩阵
   我们在33讲提到过，满足$A{A}^T=A^{T}A$的矩阵特征向量正交
   所以反对称矩阵特征向量正交，有$A=\left[\begin{array}{cc}0& 1\\ -1& 0\end{array}\right]$
   正交矩阵也满足，也有特征向量正交，有$A=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$（这个矩阵也是旋转矩阵）
   这些矩阵都具有复数域上的正交特征向量组

5. 最小二乘问题，$\left[\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\end{array}\right]\left[\begin{array}{c}C\\ D\end{array}\right]=\left[\begin{array}{c}3\\ 4\\ 1\end{array}\right](Ax=b)$
   （1）求其最优解
   解得$\left[\begin{array}{c}\hat{C}\\ \hat{D}\end{array}\right]=\left[\begin{array}{c}\frac{11}{3}\\ -1\end{array}\right]$

   （2）求$b$到矩阵列空间的投影$p$
   向量$p=A\hat{x}$
   所以$p=\left[\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\end{array}\right]\left[\begin{array}{c}\hat{C}\\ \hat{D}\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\end{array}\right]\left[\begin{array}{c}\frac{11}{3}\\ -1\end{array}\right]$

   （3）求拟合直线的图像
   $y=\hat{C}+\hat{D}x$即$y=\frac{11}{3}-x$
   

（4）求一个非零向量$b$使得最小二乘求得的$\left[\begin{array}{c}\hat{C}\\ \hat{D}\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$

我们知道最小二乘求出的向量$\left[\begin{array}{c}\hat{C}\\ \hat{D}\end{array}\right]$使得$A$列向量的线性组合最接近$b$向量（即$b$在$A$列空间中的投影）
如果这个线性组合为$0$向量（即投影为$0$），则$b$向量与$A$的列空间正交
所以可以取$b=\left[\begin{array}{c}1\\ -2\\ 1\end{array}\right]$，同时正交于$A$的两个列向量

✿✿完结撒花✿✿