MIT 18.06 linear algebra 第二十七讲笔记

MIT 18.06 linear algebra 第二十七讲笔记

---

• Complex inner products
• Vector
• Matrices
• Discrete Fourier
• Fourier Matrix $F_n$
• Fast Transform =$FFT$

---

一个普通的$n$阶矩阵和一个向量做乘法时需要进行$n^2$次乘法运算。而进行快速傅里叶变换后可以降低到$n\log_2^n$次。

如果有一个复数向量，那么求向量长度时：$||Z||^2=\begin{bmatrix}\overline{x_1}&\overline{x_2}&\cdots&\overline{x_n}\end{bmatrix}\begin{bmatrix}z_1\\z_2\\\vdots\\z_n\end{bmatrix}$。这里是与实数向量不一样的。也就是说求一个复数向量长度的时候，需要以其共轭向量的转置乘以它。即$||Z||^2=\overline{Z}^TZ$。

计算复数向量的内积时，假设计算$y$与$x$的内积时，公式为$\overline{y}^Tx=y^Hx$。其中的$H$的作用就是求其共轭并转置，此处$H$的英文为$Hermitian$。

在实数矩阵时，我们关于对称阵的定义为$A^T=A$,但是这对复数矩阵不适用。关于复数对称矩阵的定义为$\overline{A}^T=A=A^H$。这也意味着复数对称矩阵的对角线元素均为实数。例如$\begin{bmatrix}2&3+i\\3-i&5\end{bmatrix}$,这种矩阵又称为埃尔米特矩阵（又称“自共轭矩阵”）是共轭对称的方阵。满足$A^H=A$这些矩阵的特征值为实数。

---

复数标准正交向量$q_1,q_2,\cdots,q_n$垂直，那么满足$\overline{q_i}^Tq_j\begin{array}{}\begin{cases}0\quad if\quad i\neq j\\1\quad if\quad i=j\end{cases}\end{array}$。

标准正交矩阵$Q$满足$\overline{Q}^TQ=I$。即$Q^HQ=I$。这种矩阵又称为酉矩阵，酉矩阵是正交矩阵往复数向量上的推广。

---

$n$阶傅里叶矩阵$\begin{bmatrix}1&1&1&\cdots&1\\1&w&w^2&\cdots&w^{n-1}\\1&w^2&w^4&\cdots&w^{2(n-1)}\\\vdots&\vdots&\vdots&\ddots&\vdots\\1&w^{n-1}&w^{2(n-1)}&\cdots&w^{(n-1)^2}\end{bmatrix}$。这个矩阵满足$(F_n)_{ij}=w^{i*j}$,其中$i,j=0，1，\cdots,n-1$。

如果有$w^n=1$,那么$w=e^{i\frac{2\pi}{n}}$。$w=cos(\frac{2\pi}{n})+isin(\frac{2\pi}{n})$

上面是$w^6=1$。
当$n=4$时，$w^4=1$,$w=e^{i\frac{\pi}{2}}=i$,$i^2=-1,i^3=-i,i^4=1$。因此$F_4=\begin{bmatrix}1&1&1&1\\1&i&i^2&i^3\\1&i^2&i^4&i^6\\1&i^3&i^6&i^9\end{bmatrix}=\begin{bmatrix}1&1&1&1\\1&i&-1&-i\\1&-1&1&-1\\1&-i&-1&i\end{bmatrix}$。通过这个$4\times4$的矩阵可以得到一个4点的傅里叶变换。

上面的矩阵乘以$\frac{1}{2}$后就是一个酉矩阵，即$\frac{1}{2}F_4$为酉矩阵。

当有$w^{64}=1，w^32=1$，那么$w_{64}^2=w^{32}$。我们可以将$F_{64}$变换为关于$F_{32}$的。$\begin{bmatrix}F_{64}\end{bmatrix}=\begin{bmatrix}I&D\\I&-D\end{bmatrix}\begin{bmatrix}F_{32}&0\\0&F_{32}\end{bmatrix}\begin{bmatrix}p\end{bmatrix}$。以前$F_{64}$乘以一个向量需要做$64\times64$次乘法操作，现在只需要$2(32)^2+fix$,其中fix是关于左右两侧关于修正矩阵的计算量。

其中右侧的修正矩阵是一个就置换矩阵，形如$p=\begin{bmatrix}1&&&&&\\&&1&&&\\&&&&1&\\&1&&&&\\&&&1&&\\&&&&&1\end{bmatrix}$。当$p$乘以一个向量，它能把所有奇数位置的分量统统排列到偶数分量之前。其中$D=\begin{bmatrix}1\\&w\\&&w^2\\&&&\ddots\\&&&&w^{32}\end{bmatrix}$。现在的计算量为$2(32)^2+32$，其中乘以$I$和$p$都不需要大量的计算开销。

$F_{32}$又可以进一步分解$\begin{bmatrix}F_{64}\end{bmatrix}=\begin{bmatrix}I&D\\I&-D\end{bmatrix}\begin{bmatrix}F_{32}&0\\0&F_{32}\end{bmatrix}\begin{bmatrix}p\end{bmatrix}=\begin{bmatrix}I&D\\I&-D\end{bmatrix}\begin{bmatrix}I&D&&\\I&-D&&\\&&I&D\\&&I&-D\end{bmatrix}\begin{bmatrix}F_{16}&&&\\&F_{16}&&\\&&F_{16}&\\&&&F_{16}\end{bmatrix}\begin{bmatrix}p&\\&p\end{bmatrix}\begin{bmatrix}p\end{bmatrix}$。
现在的计算量变为$2[x\times16^2+16]+32$,如果像这样依次展开，左右两边扩展为修正矩阵，由于$log_2^{64}=6$,因此左右各有6个修正矩阵。一共$log_2^{64}*\frac{64}{2}$。也就是计算公式为$log_2^{n}*\frac{n}{2}$。

假设现有有一个1024*1024维度的矩阵,那么它乘以一个向量计算量为1024*1024，但如果对其进行分解后，那么计算量为5*1024。降到了原来的$\frac{1}{200}$.