正交变换、酉变换、傅里叶变换的关系

正交变换、酉变换、傅里叶变换的关系

正交变换

这里有两个搬运自YouTube的链接，可以辅助理解
正交变换性质的证明
理解正交变换内涵

正交是什么？

两个向量垂直$\to$具有正交性

正交性的衍生

归一正交性:

• 向量正交
• 向量长度(模长)为1
  $\frac{\vec{a}}{|\vec{a}|}$称为归一化

正交的推广:从向量到空间

若有两个空间A与B,A中所有的向量与B中所有的向量均正交,则称这两个空间正交。

空间其实可以用矩阵的列空间表示,也就是说矩阵也就是一个空间,那么A与B对应的矩阵也正交。
关于这句话如果不理解，可以看这个链接MIT 线性代数

正交矩阵的定义是一个矩阵中的各列相互正交，那么这个矩阵就是正交矩阵。
正交矩阵有一个良好的性质

就是:
$A^{-1}=A^T$

这一点可以让我们完成矩阵的逆变换更加容易，因为逆矩阵可以轻易的得到

正交推广：函数也可以正交

函数从某种角度来讲，也可以类似地看做向量:
若实函数f(x)在[a,b]上有定义 ，以$\Delta x$为步长，可以得到一个向量F$F=(f(a),f(a+\Delta x),\dots \dots ,f(a+n\Delta x))$
如果说 ,此时f(x)在[a,b]上的每一个点构成了F向量，此时可以说f(x)可以近似看成向量F,为了便于理解，直接把f(x)等于向量F

那么，函数之间也可以正交:
$<f,g>={\int }_a^{b}f(x)g(x)dx=0$
通常还会乘以一个权重函数$<f,g>={\int }_a^{b}f(x)g(x)w(x)dx=0$
权重函数的作用是使得函数可以和各种不同的函数变得正交

正交变换

正交变换：就是一种保持向量长度不变的线性变换

正交函数集的完备性:

完备性:是数学中一类集合的性质，这类集合中的元素在规定的运算法则下不会生成超出该集合的元素，也就是自相完整

而正交函数集合的完备性满足两个条件:
一个在时间限制区间[a,b]上的正交函数集合${\psi }_i(t),i=0,1,2,...$是 完备的正交函数集合 满足以下 2个 条件：

• 1.该区间上不存在任何能量有限的信号s(t)，即${\int }_a^b|s(t{)}^2|dt<+\infty$,能够使得
  $ai={\int }_a^{b}s(t){\psi }_i(t)dt=0i=0,1,2,...$均成立

  正交函数集中的函数均是带有未知数的基，能够表示同类的函数，也就是能量无限的函数，若有能量有限的函数(也就是特定的具体函数)能够满足该式，说明那个函数与正交函数集中的函数存在正交关系，但是它却不在集合中，说明原集合不完整，所以不能存在这样的函数

• 2.任何一个分段连续的能量有限信号，即满足${\int }_a^b|s(t{)}^2|dt<+\infty$的s(t)，总是能够找到一个任意小的正实数ε和一个N项展开式$\hat{s}(t)={\sum }_{i=1}^N{a}_i{\psi }_i(t)$满足$\int ba|s(t)-\hat{s}(t){|}^{2}dt<ϵ$成立。
  这一条件说明完整的正交集中的函数可以表示任意的函数，均方误差为0

正交函数完备性的物理意义:

• 任何数量的奇函数相加为奇函数
• 任何数量的偶函数相加为偶函数
  为了表示任意一个函数，就要求奇偶函数都要有

正交变换与酉变换的关系

事实上，正交变换只是酉变换的一个特例，因为正交变换是存在于实数域中的，酉变换存在于复数域：满足$U^H=U^{-1}$的矩阵称为酉矩阵。$U^H$为矩阵的共轭矩阵的转置矩阵，即先进行共轭再进行转置。
$U^H$称为一个矩阵的Hermitian matrix,是一个矩阵先共轭再转置得到的矩阵，这个过程称为Hermitian Transform

酉变换(unitary transform):

$$\begin{gathered} g=Af \\ f=A^{H}g \\ {A}^{H}g \\ f(n)={\sum }_{k=0}^{N-1}{a}^{\ast }(k,n)g(k) \end{gathered}$$
上面为正变换，下面为反变换，其中$a(k,n)$为正变换核(一个矩阵)中的元素,$a^{\ast }(k,n)$为反变换核的一个元素

二维酉变换：

$$\begin{gathered} F(u,v)={\sum }_{x=0}^{N-1}{\sum }_{y=0}^{N-1}f(x,y)a_{u,v}(x,y)0\le u,v<N \\ f(x,y)={\sum }_{u=0}^{N-1}{\sum }_{v=0}^{N-1}F(u,v)a_{u,v}^{\ast }(x,y)0\le x,y<N \end{gathered}$$

变换核的分离性：

$a_{u,v}(x,y)=a_u(x)b_v(y)\to a(u,x)b(v,y)$
利用奇异值分解,将变换核中的元素放入矩阵表示:A={(a(u,x)},B=(b(v,y))

二维酉变换可以表示为:
$F(u,v)={\sum }_{x=0}^{N-1}{\sum }_{y=0}^{N-1}a(u,x)f(x,y)a(v,y)$
进而$F=A_{1\times M}{f}_{M\times N}{A}_{N\times 1}^T$

说白了，二维与一维只是处理的函数维数变了，原理一样，且二维变换核可以分解为一维核

酉变换的性质

• 1.酉变换是正交阵
• 2.A为酉变换阵，则$A^{-1}、A^T$都为酉矩阵
• 3.酉变换是能量保持的变换，因为向量间的角度与向量的长度不变
• 4.酉变换能量的紧缩，正交酉变换往往将趋于将信号能量压缩到相对少的变换系数中，由于总能量保持不变，因此许多变换系数将包含较少的能量
  K-L变换可以达到最大能量紧缩
• 5.酉变换去相关：当输入向量元素间高度相关时，变换系数趋于去相关，这意味着协方差矩阵的非对角项和对角项相比趋于变小
  K-L可以达到完全的去相关
• 6.均值与方差
  

可进行图像变换的基本条件：
满足正交、完备两个条件的函数集合或矩阵才能用于图像的分析

常用的几种酉变换:

傅里叶变换、WALSH变换、哈达玛变换、Haar变换、SLANT变换、K-L变换

傅里叶变换其实是酉变换的一种。