离散正交变换

整体介绍

离散正交变换是一种将信号或图像从时域（或空间域）转换到频域的数学变换，通常用于信号处理和图像处理领域。这些变换的主要目的是将原始信号转换为一个新的表征形式，在这个新的域中，信号的某些特性（如能量或信息）可以更容易地被识别和处理。以下是一些常见的离散正交变换：

1. 离散傅立叶变换 (DFT)：

• DFT是将时域信号转换到频域的一种变换，它将信号表示为一系列正弦和余弦函数的和，每一项都带有一个特定的频率和幅值。在离散形式下，这个变换是对有限长序列的处理，通常用于分析周期性信号。

2. 离散余弦变换 (DCT)：

• DCT是一种类似于DFT的变换，但只使用余弦函数，它广泛应用于图像和视频压缩领域，比如在JPEG图像压缩和MPEG视频压缩中。DCT能够将信号的能量集中在变换结果的前几个系数中，这使得它在信号压缩方面非常有效。

3. 离散小波变换 (DWT)：

• DWT是一种多尺度分辨率的分析方法，它通过使用一组小波函数对信号进行变换来分析信号在不同尺度上的细节。DWT特别适合处理具有非平稳特性的信号，因为它能够局部化信号的时间和频率信息。

4. 哈达玛变换（Hadamard Transform）：

• 哈达玛变换是一种二进制正交变换，它将输入向量变换到一个由正值和负值组成的新向量。这种变换在图像处理中较少使用，但在某些通信系统和信号处理场景中它可以提供高效的编码方法。

5. 离散哈尔变换（Haar Transform）：

• 这是DWT的一种简单形式，使用的是哈尔小波基。它是小波变换中最早和最简单的一种，适合用于分析突变信号。

每种变换都有其独特的数学定义和属性，它们的选择取决于应用的具体需求。正交性在这些变换中是一个重要概念，它意味着变换矩阵的行或列是正交的，即它们之间的内积为零。这个性质保证了变换是可逆的，也就是说，从变换的结果可以完全重建原始信号。
在应用这些变换时，通常会涉及到变换的计算效率问题，特别是对于长序列或大图像而言，直接计算这些变换可能会非常耗时。为此，快速算法如快速傅立叶变换（FFT）和快速小波变换（FWT）被开发出来，以提高变换的计算效率。这些快速算法在工程和科学计算中得到了广泛应用。

离散傅立叶变换 (DFT)

离散傅立叶变换（Discrete Fourier Transform，简称DFT）是一种在数字信号处理中广泛使用的数学变换，它允许我们将一个离散的信号从时域转换到频域。这种变换为分析信号的频谱成分提供了极大的便利。

定义：

离散傅立叶变换将一个长度为$N$的复数序列$x(n)$变换到另一个同样长度为$N$的复数序列$X(k)$。数学上，DFT可以用下面的公式表示：
$X(k)={\sum }_{n=0}^{N-1}x(n)\cdot e^{-j\frac{2\pi }{N}kn}k=0,1,2,...,N-1$
其中，$x(n)$是原始序列的第$n$个样本，$X(k)$是变换后序列的第$k$个样本，$n$是时域索引，$k$是频域索引，$N$是总样本数，$e$是自然对数的底数，$j$是虚数单位。

特点：

• 正交性：DFT基函数（复指数函数）之间是相互正交的。
• 对称性：对于实数输入信号，DFT的结果是共轭对称的，即$X(k)=X\ast (N-k)$。
• 周期性：DFT将时域信号视为周期信号，输出的频域也是周期性的。

计算：

DFT的直接计算是通过两层嵌套循环来完成的，每个循环都遍历$N$个样本，因此计算复杂度为$O(N^2)$。然而，对于实际应用中常常出现的大数据集，这样的计算是非常耗时的。
为了提高效率，通常使用快速傅立叶变换（Fast Fourier Transform，简称FFT）算法来计算DFT。FFT是DFT的一个高效计算方式，它通过分治策略将原问题分解为更小的子问题来降低计算复杂度，典型的FFT算法有Cooley-Tukey FFT算法，其复杂度可以降低到$O(NlogN)$。

应用：

DFT在许多领域都有应用，包括：

• 信号处理：分析和处理各种信号的频率成分。
• 图像处理：进行图像的压缩编码和滤波。
• 声音分析：音频信号的频谱分析和音高检测。
• 通信：调制解调、频谱分析和滤波。

逆变换：

离散傅立叶逆变换（Inverse Discrete Fourier Transform，简称IDFT）用于从频域序列$X(k)$重构时域序列$x(n)$，其数学表达式为：
$x(n)=\frac{1}{N}{\sum }_{k=0}^{N-1}X(k)\cdot e^{j\frac{2\pi }{N}kn}n=0,1,2,...,N-1$
逆变换的存在说明了DFT是一个可逆的变换。通过IDFT，我们可以准确地从频域数据重建原始的时域信号。

小结：

离散傅立叶变换是信号处理中一个非常基础和重要的工具，它让我们能够了解信号的频域行为，并且在很多实际应用中，如数据压缩、滤波和频谱分析等方面发挥着关键作用。

离散余弦变换 (DCT)

离散余弦变换（Discrete Cosine Transform，简称DCT）是一种与离散傅立叶变换（DFT）相关的变换，它主要用于信号和图像处理领域。DCT的特点在于它是实数域上的变换，而DFT则是在复数域上进行的。在很多实际应用中，尤其是在图像和视频压缩上，DCT比DFT更受欢迎，主要是因为它对于包含高度相关数据的信号有更好的能量集中特性。

定义：

DCT的一维形式定义为从时域序列$x(n)$到频域序列$X(k)$的变换，数学上表示为：
$X(k)={\sum }_{n=0}^{N-1}x(n)\cdot \cos \left[\frac{\pi }{N}\left(n+\frac{1}{2}\right)k\right]k=0,1,2,...,N-1$
其中，$x(n)$是时域中的第$n$个采样点，$X(k)$是变换后频域中的第$k$个系数，$N$是总的采样点数。
DCT的二维形式主要用于图像处理，可以通过对图像的每行和每列分别进行一维DCT来实现，公式如下：
$X(k,l)=\sum {m=0}^{M-1}\sum {n=0}^{N-1}x(m,n)\cdot \cos \left[\frac{\pi }{M}\left(m+\frac{1}{2}\right)k\right]\cdot \cos \left[\frac{\pi }{N}\left(n+\frac{1}{2}\right)l\right]$

特点：

• 能量集中：DCT能够将信号（尤其是高度相关信号）的能量集中在变换系数的低频部分，这使得DCT在图像和视频压缩中非常有效。
• 实数运算：由于DCT只使用余弦函数，所以它的所有操作都是在实数域内进行的，这简化了计算过程。
• 数据压缩：在压缩应用中，通过保留频域中的低频系数并丢弃高频系数（通常包含较少的视觉信息），可以达到压缩数据的目的。

计算：

DCT的直接计算与DFT类似，采用两层嵌套循环，复杂度为$O(N^2)$，对于二维DCT则为$O(N^2{M}^2)$。然而，与DFT类似，也存在快速DCT算法（如快速DCT-IV、DCT-II等）用于降低计算复杂度，这对于实际应用至关重要。

应用：

• 图像压缩：DCT是JPEG图像压缩标准的核心部分，它将图像分为8x8的块，对每个块独立进行DCT，然后对DCT系数进行量化来实现压缩。
• 视频压缩：在MPEG、H.264等视频压缩标准中，DCT用于减少帧内和帧间的冗余信息。
• 音频信号处理：虽然在音频领域DFT和离散小波变换更常用，但DCT也可以用于音频信号的某些处理任务。

逆变换：

离散余弦逆变换（Inverse Discrete Cosine Transform，简称IDCT）用于从频域系数$X(k)$重构时域信号$x(n)$，其数学表达式为：
$x(n)=\frac{1}{2}X(0)+{\sum }_{k=1}^{N-1}X(k)\cdot \cos \left[\frac{\pi }{N}\left(n+\frac{1}{2}\right)k\right]n=0,1,2,...,N-1$
IDCT保证了从变换系数恢复得到的信号与原始信号在数值上是相同的（在没有量化步骤的情况下）。

小结：

离散余弦变换在信号处理，尤其是图像和视频压缩方面发挥了重要作用，它之所以有用，主要是因为它的能量集中特性，这使得信号的主要信息能够用更少的系数来表示。由于这个原因，DCT成为了多种数字媒体标准的核心部分。

离散小波变换 (DWT)

离散小波变换（Discrete Wavelet Transform，简称DWT）是信号处理中一种重要的时间-频率分析方法。与离散傅立叶变换不同，小波变换能够提供关于信号在不同时刻不同频率的详细信息。这是通过将信号分解成一系列小波基函数所实现的。

小波基函数：

小波基函数是通过对母小波（mother wavelet）进行缩放（scaling）和平移（translation）操作生成的。数学上，小波基函数可以表示为：
${\psi }_{a,b}(t)=\frac{1}{\sqrt{a}}\psi \left(\frac{t-b}{a}\right)$
其中，$\psi (t)$ 是母小波函数，$a$ 是缩放参数，$b$ 是平移参数，$t$ 是时间变量。

离散小波变换的计算：

在离散小波变换中，缩放和平移参数$a$和$b$被离散化。通常情况下，这些参数被选择为$a=2^j$和$b=k\cdot 2^j$，其中$j$和$k$是整数。这种选择使得小波变换成为一个多分辨率分析工具。
离散小波变换的计算可以通过以下公式进行：
$W(j,k)=\sum nx[n]\cdot \psi j,k(n)$
其中，$x[n]$是离散时间信号，${\psi }_{j,k}(n)$是离散小波基函数。

多级分解：

在实践中，DWT通常是以多级分解的方式实现的。信号首先通过一对高通和低通滤波器，然后下采样，得到一系列的近似和细节。这个过程可以迭代进行，每次迭代都对上一步得到的近似信号进行相同的操作。
以下是一维DWT的数学表示：

1. 低通和高通滤波器输出计算：

$Aj[k]=\sum nh[n-2^{j}k]x[n]$
$Dj[k]=\sum ng[n-2^{j}k]x[n]$
其中，$h[n]$ 和 $g[n]$分别是低通和高通滤波器的系数，$Aj[k]$是第$j$层的近似系数，$Dj[k]$是第$j$层的细节系数。

2. 递归分解过程：

然后对$A_j[k]$应用相同的分解过程，以得到更高层次的近似和细节系数：
$Aj+1[k]=\sum nh[n-2^{j+1}k]A_j[n]$
$Dj+1[k]=\sum ng[n-2^{j+1}k]A_j[n]$
这个过程可以继续，直到达到所需的分解层数。

逆离散小波变换（IDWT）：

逆离散小波变换用于从小波系数重构原始信号，其过程如下：
$x[n]=\sum k(h[-n+2^{j}k]\cdot Aj[k]+g[-n+2^{j}k]\cdot D_j[k])$
这里需要注意，滤波器系数 $h[n]$ 和 $g[n]$在逆变换中的用法与正变换中稍有不同。

应用：

离散小波变换广泛应用于信号处理、图像处理、音频分析以及其他各种领域，特别是在信号去噪和数据压缩等领域。
总之，DWT 通过递归地使用过滤和下采样操作，提供了一种有效的方式来捕捉信号的局部特征和在不同分辨率下的行为。

哈达玛变换（Hadamard Transform）

哈达玛变换（Hadamard Transform），是一种线性变换，主要用于数字信号处理领域，它是一种离散变换，具有和离散傅里叶变换（DFT）相似的应用领域，但是计算更为简单高效，因为它不涉及复数和三角函数的计算。

定义：

哈达玛变换是基于哈达玛矩阵的。一个$2^n\times 2^n$的哈达玛矩阵$H_n$可以递归地定义如下：
$H_1=\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]$
$H_{n+1}=\left[\begin{array}{cc}{H}_n& H_n\\ H_n& -H_n\end{array}\right]$
这意味着，对于任意的$n$，哈达玛矩阵都可以通过上述公式构建。哈达玛矩阵里的元素只有+1和-1两种值，这使得与其相乘可以简化为加法和减法的运算。

哈达玛变换的计算：

对于一个给定的信号向量$x$，其哈达玛变换$H(x)$可以表示为：
$H(x)=H_n\cdot x$
这里的$x$是一个有$2^n$项的列向量，$H(x)$是变换后的结果，同样是一个$2^n$项的向量，$H_n$是基于上述定义构建的哈达玛矩阵。

性质：

• 哈达玛矩阵是正交矩阵，即$H_n\cdot H_n^T=H_n^T\cdot H_n=2^n{I}_n$，其中$I_n$表示$n$阶单位矩阵。
• 哈达玛变换是实数变换，不涉及复数。
• 它的逆变换和自身是相同的（除了一个正规化因子之外），即$H_n^{-1}=\frac{1}{2^n}{H}_n$。

应用：

哈达玛变换在各种通信和信号处理系统中有广泛的应用，包括：

• 数据压缩：哈达玛变换可以用于图像压缩，因为它可以将信号能量集中到较少的系数中。
• 图像处理：在某些图像处理算法中，哈达玛变换可以用作特征提取的工具。
• 多路复用和扩频通信：哈达玛矩阵的行可以用作正交码，用于CDMA（Code Division Multiple Access）等通信系统的编码。

举例：

假设我们要计算一个4维向量的哈达玛变换。首先我们需要构建一个4阶哈达玛矩阵：
$H_2=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& -1& 1& -1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\end{array}\right]$
然后，如果我们的输入信号向量是$x=[x_1,x_2,x_3,x_4{]}^T$，哈达玛变换就是：
$H(x)=H_2\cdot x$
这个操作涉及到4个向量的点乘，每个都对应$H_2$矩阵的一行。
哈达玛变换的这些特性使其在需要快速计算和运算效率的场合非常有用，特别是当实现硬件加速时，其优势尤为明显。

离散哈尔变换（Haar Transform）

离散哈尔变换（Haar Transform）是一种时间-频率分析的方法，也是最早的小波变换之一。由匈牙利数学家Alfréd Haar于1909年提出，它是一种简单的二进制结构的小波，可以用来分析信号的局部区域，并捕获其时间和频率信息。离散哈尔变换在信号处理、图像分析和压缩等领域有广泛的应用。

哈尔变换的基本函数：

哈尔变换基于两种函数：哈尔尺度函数（也称为哈尔母小波）和哈尔小波函数。这两种函数分别用于捕获信号的平均水平和细节变化。

1. 哈尔尺度函数$\varphi (t)$：
   $\varphi (t)=\{\begin{array}{llc}1& 0\le t<10& \text{其他}\end{array}$
2. 哈尔小波函数 $\psi (t)$：
   $\psi (t)=\{\begin{array}{llcc}1& 0\le t<0.5-1& 0.5\le t<10& \text{其他}\end{array}$

离散哈尔变换的计算：

在计算离散哈尔变换时，信号被分成一系列的小块，每个小块将被尺度函数和小波函数进行分析。对于一维离散信号，离散哈尔变换通常通过以下步骤计算：

1. 将信号分为非重叠的块，每个块包含2的幂次个样本（例如，2, 4, 8,…）。
2. 对每个块，计算块的平均值和差值（即细节）。
3. 重复上述步骤，对每次计算中得到的平均值再次分块和计算，直到只剩下一个总平均值为止。
4. 最终结果由各级别的平均值和细节值组成。

使用哈尔小波函数的变换可以表示为信号与尺度函数和小波函数的内积。对于一个长度为$N$的信号$x$，其哈尔变换$H(x)$可以通过矩阵乘法表示：
$H(x)=M\cdot x$
其中，$M$是哈尔变换矩阵，这是一个由哈尔尺度函数和小波函数生成的正交矩阵。

性质：

• 哈尔变换是快速计算的，因为它不涉及复杂数学运算，如傅里叶变换中所需的复指数函数。
• 它是实数变换，不涉及复数。
• 哈尔变换的逆变换（Inverse Haar Transform）可以通过相同的算法进行，只需将平均值和细节值进行合适的加减处理即可重建原始信号。

应用：

哈尔变换由于其简单性，被用在很多快速和实时的信号处理任务中，如：

• 图像压缩：哈尔小波变换可以用于图像压缩算法中，将图像分为多个子带，然后分别处理。
• 特征提取：在模式识别和图像处理中，哈尔变换可用于提取特征。
• 数据分析：在处理和分析信号时，哈尔变换可以用来检测信号中的突变或者其他非平稳特征。

哈尔变换的一个关键优点是计算上的简洁性，这也是它在数字信号处理领域广泛被应用的原因之一。