线性代数|机器学习-P32循环矩阵的特征向量-傅里叶矩阵

1. 大纲

• 循环矩阵在机器学习，图像处理中的应用
• 循环卷积矩阵的特征值，特征向量，卷积规则
• 循环卷积矩阵多项式表达：$C=c_{0}I+c_{1}P+c_2{P}^2+\cdots +c_{n-1}{P}^{n-1}$
• 离散傅里叶DFT介绍

2. 循环矩阵

2.1 移位矩阵P

我们定义一个移位矩阵P 表示如下:
$$\begin{array}{c}P=\left[\begin{array}{cccc}0& 1& 0& 0\\ & & & \\ 0& 0& 1& 0\\ & & & \\ 0& 0& 0& 1\\ & & & \\ 1& 0& 0& 0\end{array}\right];Px=\left[\begin{array}{cccc}0& 1& 0& 0\\ & & & \\ 0& 0& 1& 0\\ & & & \\ 0& 0& 0& 1\\ & & & \\ 1& 0& 0& 0\end{array}\right]\left[\begin{array}{c}{x}_1\\ \\ x_2\\ \\ x_3\\ \\ x_4\end{array}\right]=\left[\begin{array}{c}{x}_2\\ \\ x_3\\ \\ x_4\\ \\ x_1\end{array}\right];\end{array}$$

• 那么我们可以将一个循环卷积矩阵C 分解为移位矩阵P的多项式之和：
  

2.2 P的特征值和特征向量

我们根据P来定义其特征值和特征向量可得：
$$\begin{array}{c}Px=\lambda x\to x_2=\lambda x_1;x_3=\lambda x_2;x_4=\lambda x_3;x_1=\lambda x_4;\end{array}$$

• 整理可得：
  $$\begin{array}{c}{x}_1={\lambda }^4{x}_1\to (1-{\lambda }^4)x_1=0\to {\lambda }_0=1,{\lambda }_1=i,{\lambda }_2=-1,{\lambda }_3=-i\end{array}$$
• 也就是说P的根为$Z^N=1$的根，这里是N=4,所以有4个根；
  

2.3 循环卷积矩阵

我们有一个循环卷积矩阵C，n行n列，因为矩阵C的特殊性，其斜线上的元素相等，所以可得：
$$\begin{array}{c}C=\left[\begin{array}{ccccc}{c}_0& c_1& c_2& \cdots & c_{n-1}\\ & & & & \\ c_{n-1}& c_0& c_1& \cdots & c_{n-2}\\ & & & & \\ ⋮& \ddots & \ddots & \ddots & ⋮\\ & & & & \\ c_1& c_2& c_3& \cdots & c_0\end{array}\right];\end{array}$$

• 那么可以将上述循环矩阵C用移位矩阵P进行展开可得如下：
  $$\begin{array}{c}C=c_{0}I+c_{1}P+c_2{P}^2+\cdots +c_{n-1}{P}^{n-1}\end{array}$$

2.4 循环卷积计算

假设我们有一个序列 x 1 ( n ) = { 1 , 2 , 3 } , x 2 ( n ) = { 5 , 0 , 4 } x_1(n)=\{1,2,3\},x_2(n)=\{5,0,4\} x1​(n)={1,2,3},x2​(n)={5,0,4},需要对其进行循环卷积计算，根据数字信号分析中可得：
$$\begin{array}{c}{x}_1(n)\stackrel{◯}{L}{x}_2(n)=[\sum _{m=0}^{L-1}{x}_1(m)x_2((n-m){)}_L]R_L(n)\end{array}$$

• 转换成循环卷积如下：
  $$\begin{array}{c}\left[\begin{array}{ccc}5& 4& 0\\ & & \\ 0& 5& 4\\ & & \\ 4& 0& 5\end{array}\right]\left[\begin{array}{c}1\\ \\ 2\\ \\ 3\end{array}\right]=\left[\begin{array}{c}13\\ \\ 22\\ \\ 19\end{array}\right];\end{array}$$
• 综上所述可得：两个序列的循环卷积运算可以转换为一个序列的循环卷积矩阵与另外一个序列的乘积。

3. 傅里叶矩阵

我们知道移位矩阵P的特征值为$z^N=1$的复数根，其特征向量如下：
$$\begin{array}{c}{q}_k=\left[\begin{array}{c}1,{\lambda }_k,{\lambda }_k^2,\cdots ,{\lambda }_k^{N-1}\end{array}\right];{\lambda }_k={\mathrm{e}}^{\frac{2\pi i}{N}}\end{array}$$

• 我们之前推导过对于任意的循环卷积矩阵C来说可以表示如下：
  $$\begin{array}{c}C=c_{0}I+c_{1}P+c_2{P}^2+\cdots +c_{n-1}{P}^{n-1}\end{array}$$
• 我们可得矩阵C的特征值和特征向量与P的特征值特征向量相同。我们两边同时乘以$q_k$，且定义如下
  $$C{q}_k={\lambda }_k(C)q_k,P{q}_k={\lambda }_k{q}_k$$
  $$\begin{array}{c}C{q}_k=c_0{q}_k+c_{1}P{q}_k+c_2{P}^2{q}_k+\cdots +c_{n-1}{P}^{n-1}{q}_k\end{array}$$
• 代入特征方程可得:
  $$\begin{array}{c}{\lambda }_k(C)q_k=c_0{q}_k+c_{1}P{q}_k+c_2{P}^2{q}_k+\cdots +c_{n-1}{P}^{n-1}{q}_k\end{array}$$
• 整理可得:
  $$\begin{array}{c}{\lambda }_k(C)q_k=c_0{q}_k+c_1{\lambda }_k{q}_k+c_2{\lambda }_k^2{q}_k+\cdots +c_{n-1}{\lambda }_k^{n-1}{q}_k\end{array}$$
• 整理可得:
  $$\begin{array}{c}{\lambda }_k(C)=c_0+c_1{\lambda }_k+c_2{\lambda }_k^2+\cdots +c_{n-1}{\lambda }_k^{n-1}\end{array}$$
• 我们知道:${\lambda }_k={\mathrm{e}}^{\frac{2\pi k}{N}}=w^k,w={\mathrm{e}}^{\frac{2\pi }{N}}$
• 那么可得：
  
• 小结1：这么做的主要用于：[后续补充，要补充的逻辑思路太多了]
  $$两个序列的循环卷积为离散傅里叶DFT变换下的序列相乘$$
• 小结2： 所有的循环卷积矩阵都可以分解为离散傅里叶矩阵F和系数序列c相乘，它们的特征向量一致。
  $$后续更新逻辑思维图$$