MIT 线性代数 Linear Algebra 26:复矩阵，傅里叶矩阵, 快速傅里叶变换 FFT

这一讲我们来讲一下复矩阵。线性代数中，复矩阵是避免不了的话题，因为一个简单实矩阵都有可能有复数特征值。

复矩阵

我们着重看一下复矩阵和实矩阵在运算上的区别。

1. 距离

首先，一个复数向量的的距离求法发生了变化
$${\mathbf{x}}^{\top }\mathbf{x}\to {\mathbf{x}}^H\mathbf{x}$$

其中，${\mathbf{x}}^H$ 指的是共轭转置。

相应的，内积也发生了变化

2. 内积
   $${\mathbf{x}}^{\top }\mathbf{y}\to {\mathbf{x}}^H\mathbf{y}$$

3. 对称矩阵 symmetric matrix $\to$ 厄米矩阵 Hermitian matrix

之前讲到对阵矩阵时说过，对称矩阵很好的性质在复数矩阵的情况下应该变为
$${\mathbf{A}}^{\top }=\mathbf{A}\to {\mathbf{A}}^H=\mathbf{A}$$

4. 正交矩阵 orthogonal matrix $\to$ 酉矩阵 Unitary matrix

$${\mathbf{Q}}^{\top }\mathbf{Q}=I\to {\mathbf{Q}}^H=\mathbf{Q}$$

傅里叶矩阵

下面我们讲一下目前为止最重要的复数矩阵: 傅里叶矩阵 Fourier Matrix. 它实际上是傅里叶变换的矩阵形式。

定义

我们来看看什么是傅里叶矩阵
$${\mathbf{F}}_n=\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& W^1& W^2& \cdots & W^{n-1}\\ 1& W^2& W^4& \cdots & W^{2(n-1)}\\ ⋮& ⋮& ⋮& ⋮& ⋮\\ 1& W^{n-1}& W^{2(n-1)}& \cdots & W^{(n-1{)}^2}\end{array}\right]$$

可以看出，其中每一项 $(F_n{)}_{ij}=W^{ij}$, $i,i=0,1,2,...,n-1$, 其中 $W$ 是复平面单元圆分割成 $n$ 份得到的向量，即
$$W=e^{j\frac{2\pi }{n}}$$

一个最简单的例子是 ${\mathbf{F}}_4$, 因为相位刚刚好取到坐标轴上，此时
$${\mathbf{F}}_4=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& i& -1& -i\\ 1& -1& 1& -1\\ 1& -i& -1& i\end{array}\right]$$

这个矩阵有什么特点尼？它是一个酉矩阵，且其中的每一项都是单位圆上的一个相位。
$${\mathbf{F}}_n^H{\mathbf{F}}_n=I$$

它的逆也很容易写出来
$${\mathbf{F}}_n^{-1}={\mathbf{F}}_n^H$$

因此，傅里叶变换和逆傅里叶变换可以写成矩阵形式为
$$\mathbf{y}={\mathbf{F}}_{\mathbf{n}}\mathbf{x}$$

$$\mathbf{x}={\mathbf{F}}_{\mathbf{n}}^{\mathbf{H}}\mathbf{y}$$

快速傅里叶变换

长久以来，傅里叶变换的运算复杂度 $\mathcal{O}(n^2)$ 对没有高速计算机的时代非常不友好。快速傅里叶变换 FFT 应运而生。FFT的基本原理是divide and conquer，就是把一个 高维的傅里叶变换用低维表示出来，看下图就很明了了。

从矩阵角度我们也能得到相似的结论,

即，把一个高维 $F_{64}$ 分解为 三部分乘积，其中最右侧是一个permutation matrix，是对输入的 $\mathbf{x}$ 做 odd-even shuffle，中间的是俩低维 $F_{32}$ matrix组成的分块对角阵，左侧是butterfly network。这个分解与上图一一对应。

我们可以继续divide and conquer把FFT进一步分解直至最低维度，最终写成矩阵连乘结果，复杂度降为 $\mathcal{O}(\frac{1}{2}n{\log }_{2}n)$, 只要看下图就非常明了了。