线性代数-Gilbert Strang(第三部分)

第二十六课时：对称矩阵和正定性

本节研究对称矩阵的特征值和特征向量。

对称矩阵的性质：

• 实对称矩阵的特征值是实数
• 在对称矩阵的特征向量中，能挑出一组是垂直正交的
  
  • 如果特征值互不相同，那么每个特征值的特征向量是在单独的一条线上，那些线是垂直正交的；
  • 如果特征值重复，那就有一整个平面的特征向量，在那个平面上，我们可以选择垂直的向量
  • 将这组特征向量转化为标准正交向量，由它们组成的矩阵称为标准正交矩阵。
• 如果是复矩阵，不仅要求转置相等，而且要求共轭，即：$A=\bar A^T$

通常情况下，矩阵A可表示为 $A=S\Lambda S^{-1}$
当 A 是对称矩阵的时候，$A=Q\Lambda Q^{-1}=Q\Lambda Q^T$，Q表示标准正交矩阵。数学上叫这个为谱定理，谱就是指矩阵的特征值集合。

证明：实对称矩阵的特征值是实数

设 $\lambda,x$ 分别为对称矩阵A的特征值和特征向量，满足：$Ax=\lambda x$. 对式子两边同时取共轭有：$\bar A\bar x=\bar \lambda \bar x$. 对第一个式子两边同时左乘 $\bar x^T$，有：

$$\bar x^TAx=\lambda \bar x^Tx$$
对第二个式子两边转置并右乘 $x$，同时利用 实对称( $A=\bar A,A=A^T$)性得到：
$$\bar x^TAx=\bar \lambda \bar x^Tx$$
对比可知： $\lambda=\bar \lambda$，得证。

证明：实对称阵属于不同特征值的的特征向量是正交的

设 $\lambda_1,\lambda_2$ 为 A 的两个不同特征值，$x_1,x_2$ 分别为其对应的特征向量，有：

$$Ax_1=\lambda_1x_1\\Ax_2=\lambda_2x_2$$
分别取转置，并分别右乘 $x_2$ 和 $x_1$ 得：
$$x_1^TA^Tx_2=\lambda_1x_1^Tx_2\\ x_2^TA^Tx_1=\lambda_2x_2^Tx_1$$
因为 $x_1^TA^Tx_2$ 是一个常数，故它等于它的转置，并且根据 A 是实对称矩阵有 $A=A^T$，所以 $$x_1^TA^Tx_2=(x_1^TA^Tx_2)^T=x_2^TAx_1=x_2^TA^Tx_1$$
因此 $\lambda_1x_1^Tx_2=\lambda_2x_2^Tx_1$，又 $\lambda_1\neq \lambda_2$，故 $x_1\perp x_2$. 得证。

每一个对称矩阵都是一些相互垂直的投影矩阵的组合

某单位向量(如前面的标准正交向量)，乘以自己的转置得到的是什么矩阵：投影矩阵，记得投影矩阵的重要性质：$P^T=P$.

$$\begin{align*} A=Q\Lambda Q^T=&\begin{bmatrix}q_1&q_2&\cdots\end{bmatrix}\begin{bmatrix}\lambda_1\\&q_2\\&&\ddots\end{bmatrix}\begin{bmatrix}q_1\\q_2\\\vdots\end{bmatrix}\\ =&\lambda_1q_1q_1^T+\lambda_2q_2q_2^T+\cdots \end{align*}$$

对称矩阵特征值的符号：

• 实对称矩阵的特征值的符号与主元的符号一致；
• 正主元的个数等于正特征值的个数；
• 特征值之积等于主元之积，因为特征值之积等于行列式，主元之积为行列式。

正定矩阵

如果一个实对称矩阵的特征值都是正数，那么它是正定矩阵。

性质：

• 主元也都是正数
• 所有子行列式都是正数

正定矩阵将方阵特征值，主元，行列式融为一体。

第二十五课时：复矩阵和快速傅里叶变换FFT

复向量和复矩阵

定复向量z，每个元素是复数，z 向量是在 $C^n$ 而不是在 $R^n$ 中，即n 维复空间

复向量的模

复向量的模不能向实向量那样求 $z^Tz$。举例：$(1 \;i)^T(1\;i)=0$. 但如果求向量与共轭向量的乘积，那就可以，$(1 \;-i)^T(1\;i)=2$.

复向量求模时，在做转置的时候还需要求共轭复数。
用 $z^Hz$ 表示，这就是模长的平方。$z^H$ 表示对向量z 的转置并共轭，H 代表埃尔米特 Hermite。复向量的内积：$y^Hx$。

埃尔米特矩阵（复对称矩阵）

埃尔米特矩阵：对于复矩阵，复对称矩阵需满足的是AH=A，AH 表示的是对角线上元素不变，其余对称的元素转置时变为共轭复数。

实对称矩阵的结论对复对称矩阵同样成立：对称矩阵和埃尔米特矩阵的特征值是实数，特征向量相互垂直。

酉矩阵（复空间的标准正交矩阵）

如果一组复向量 $q_1,1_2,\cdots,q_n$ 是标准正交基，向量间模为1，那么有：

$$q_i^Hq_j=\begin{cases} 0,i\neq j\\ 1,i=j \end{cases}$$

综合考虑实矩阵和复矩阵可知，正交矩阵需要满足的条件即为：$Q^HQ=I$，在复空间叫做酉矩阵(unitary，n 阶方阵，列
向量正交，单位向量)。

傅里叶矩阵：最著名的酉矩阵

n阶傅里叶矩阵定义如下：

$$F_n=\frac{1}{\sqrt n}\begin{bmatrix} 1&1&1&\cdots&1\\ 1&w&w^2&\cdots&w^{n-1}\\ 1&w^2&w^4&\cdots&w^{2(n-1)}\\ \vdots&\vdots&\vdots&\ddots&\vdots\\ 1&w^{n-1}&w^{2(n-1)}&\cdots&w^{(n-1)^2} \end{bmatrix},(F_n)_{jk}=w^{jk}$$
元素是 $w$ 的幂，且 $w^n=1$ （n 是矩阵阶数），在复平面内， $w$ 落在单位圆上，故 $w=e^{i2\pi/n}$。(在复数域内指数函数的定义： $e^{ix}=\text{cos}x+i\text{sin}x$)

例如，

• 当 $n=6$ 时， $w=e^{i2\pi/6}=\frac{1}{2}+\frac{\sqrt 3}{2}i,w^6=1$，可以说 1 的 6 次方根是它们，$w$ 是原根；
• 当 $n=4$ 时，$w=e^{i2π/4}=i$(刚好是90°)，$w^2=-1$，$w^3=-i$，$w^4=1$。
• $F_4$ 定义如下：
  
  F4==14√⎡⎣⎢⎢⎢⎢11111ii2i31i2i4i61