小波变换与傅里叶变换

小波变换与傅里叶变换

如果有人问我，如果傅里叶变换没有学好（深入理解概念），是否能学好小波。答案是否定的。如果有人还问我，如果第一代小波变换没学好，能否学好第二代小波变换。答案依然是否定的。但若你问我，没学好傅里叶变换，能否操作（编程）小波变换，或是没学好第一代小波，能否操作二代小波变换，答案是肯定的。 一、一、基的概念 我们要明确的是基的概念。两者都是基，信号都可以分成无穷多个他们的和（叠加）。而展开系数就是基与信号之间的内积，更通俗的说是投影。展开系数大的，说明信号和基，是足够相似的。这也就是相似性检测的思想。但我们必须明确的是，傅里叶是0-2pi标准正交基，而小波是-inf到inf之间的基。因此，小波在实轴上是紧的。而傅里叶的基（正弦或余弦），与此相反。而小波能不能成为Reisz基，或标准稳定的正交基，还有其它的限制条件。此外，两者相似的还有就是PARSEVAL定理。（时频能量守恒）。        二、二、离散化的处理 傅里叶变换，是一种数学的精妙描述。但计算机实现，却是一步步把时域和频域离散化而来的。第一步，时域离散化，我们得到离散时间傅里叶变换（DTFT），频谱被周期化；第二步，再将频域离散化，我们得到离散周期傅里叶级数（DFS），时域进一步被周期化。第三步，考虑到周期离散化的时域和频域，我们只取一个周期研究，也就是众所周知的离散傅里叶变换（DFT）。这里说一句，DFT是没有物理意义的，它只是我们研究的需要。借此，计算机的处理才成为可能。 下面我们谈谈小波。所有满足容许性条件（从-INF到+INF积分为零）的函数，都可以成为小波。小波作为尺度膨胀和空间移位的一组函数也就诞生了。但连续取值的尺度因子和平移因子，在时域计算量和频域的混叠来说，都是极为不便的。用更为专业的俗语，叫再生核。也就是，对于任何一个尺度a和平移因子b的小波，和原信号内积，所得到的小波系数，都可以表示成，在a，b附近生成的小波，投影后小波系数的线性组合。这就叫冗余性。这时的连续小波是与正交基毫无关系的东西，它顶多也只能作为一种积分变换或基。但它的显微镜特点和相似性检测能力，已经显现出来了。为了进一步更好的将连续小波变换离散化，以下步骤是一种有效方法。第一步，尺度离散化。一般只将a二进离散化，此时b是任意的。这样小波被称为二进小波。第二步，离散b。怎么离散化呢？b取多少才合适呢？于是，叫小波采样定理的东西，就这样诞生了。也就是小波平移的最小距离（采样间隔），应该大于二倍小波基的最高频率（好像类似，记不清了）。所以b取尺度的整数倍就行了。也就是越胖的小波，对应频谱越窄，平移量应该越大，采样间隔越大。当然，第一二两步的频域理解，即在满足频域窗口中心是3倍的频域窗口半径的前提下，频域就在统计上是完美二分的。（但很多小波满足不了这个条件，而且频域窗口能量不集中，所以只是近似二分的）。这时的小波变换，称为离散二进小波变换。第三步，引入稳定性条件。也就是经过变换后信号能量和原信号能量有什么不等式关系。满足稳定性条件后，也就是一个小波框架产生成了可能。他是数值稳定性的保证。一个稍弱的稳定条件，就是0<A<=B<+INF，并且小波函数线性无关，此时小波基称为Reisz基。并且，如果变换后能量守恒，(A=B=1)，并且线性无关，这就是标准离散正交小波基。这种分解也就是大家熟知的直和分解。若A和B不相等，且相差很大，我们就说小波不是紧框架的，所以双正交，对偶小波也就自然而然引进来了。若A和B不相等，但又相差不大，这时稳定重构也是可能的，这时成为几乎紧框架的。（好像说这样小波有橹棒性特点，也就是粗略分解，但却精确重构。）经过3步，我们最终地得到了一个二进离散化稳定的小波变换，这正是我们要的结果。 三、三、快速算法 如果说现代数字信号处理革命的算法，甚至是很多快速算法的老始祖，或者是满矩阵向量乘法一个几乎不可抗拒的最小计算量NlogN，那就是令我不得不佩服的快速傅里叶变换（FFT）。这里我不想解释过多的基2算法，和所谓的三重循环，还有那经典的蝶形单元，或是分裂基之类，我想说的就是一种时频对应关系。也就是算法的来源。我们首先明确，时域的卷积对应频域的相乘，因此我们为了实现卷积，可以先做傅里叶变换，接着在频域相乘，最后再做反傅里叶变换。这里要注意，实际我们在玩DSP。因此，大家要记住，圆周卷积和离散傅里叶变换，是一家子。快速傅里叶是离散傅里叶的快速算法。因此，我们实现离散线性卷积，先要补零。然后使得它和圆周卷积相等。然后就是快速傅里叶变换，频域相乘，最后反快速傅里叶变换。当然，如果我们就需要的是圆周卷积，那我们也就不需要多此一举的补零。这里，我们可以把圆周卷积，写成矩阵形式。这点很重要。Y=AX。这里的A是循环矩阵。但不幸的是A仍然是满阵。 小波的快速算法。MALLET算法，是一个令人振奋的东西。它实质给了多分辨率分析（多尺度分析）一个变得一发而不可收的理由。它实质上，讲了这样一个意思。也就是。我在一个较高的尺度（细节）上作离散二进稳定的小波变换，得到了一个结果（小波系数），我若是想得到比它尺度低的小波系数（概貌），我不用再计算内积，只是把较高尺度的小波系数和低通或高通滤波器卷积再抽取即可。但是，所有这些证明的推导是在整个实轴上进行的。即把信号看成无限长的。但这仍不是我们想要的。还有，我们还必须在较高尺度上作一次内积，才可以使用此算法。因此，我们开始简化，并扩展此理论。第一，我们把信号的采样，作为一个较高层的小波系数近似初始值。（这是可以的，因为小波很瘦时，和取样函数无异）。第二，我们把原来的卷积，换为圆周卷积。这和DSP何尝不一样呢？他的物理意义，就是把信号作周期延拖（边界处理的一种），使之在整个实轴上扩展。这种算法令我为之一贯坚持的是，它是完全正交的，也就是说是正交变换。正变换Y=AX；反变换X=A’Y；一般对于标准正交基，A’是A的共轭转置，对于双正交A’是A的对偶矩阵。但不管如何，我们可以大胆的写，AA’=A’A=I。这里I是单位矩阵。 那怎样操作才是最快的呢？我们来分析A的特点，首先A是正交阵，其次A是有循环矩阵特点，但此时A上半部分是由低通滤波器构成的循环子矩阵，下半部分是由高通滤波器构成的子矩阵，但却是以因子2为循环的。为什么，因为你做了2抽取。所以我们可以，实现小波变换用快速傅里叶变换。这时如果A是满阵的，则复杂度由O(N.^2）下降到O(NlogN)。（这个程序我已经传在了研学上，在原创区）。但还有一点，我们忘了A是稀疏的，因为信号是很长的，而滤波器确实很短的，也就是这个矩阵是个近似对角阵。所以，快速傅里叶是不快的，除非你傻到含有零的元素，也作了乘法。因此，小波变换是O(N)复杂度的。这是它的优势。但要实现，却不是那么容易，第一个方法，稀疏矩阵存储和稀疏矩阵乘法。第二个方法，因子化。因子化，是一个杰出的贡献。它在原有的O(N)的复杂度基础上，对于长滤波器，又把复杂度降低一半。但量级仍然是O(N)。 四、四、时频分析 对于平稳信号，傅里叶再好不过了。它反映的是信号总体的整个时间段的特点。在频率上，是点频的。而对于非平稳信号，它就无能为力了。而小波恰好对此派上用场。小波是反映信号，某个时间段的特点的。在频域上，是某个频率段的表现。但小波，作为频谱分析确实存在很多问题。但我们确实可以做出很多的小波满足这个特点。大家可以看冉启文的《小波变换与分数傅里叶变换》书，这里我不再赘述。还有，我们老是说小波是近似频域二分的，这在DSP上是怎样的，最近我也在思考。 五、压缩、消噪、特征提取        傅里叶变换的压缩，已经广泛应用了。它的简化版本就是DCT变换。而小波包的提出，也就使DCT有些相形见拙。首先，它提出代价函数，一般就是熵准则。其次，一个自适应树分解。再次，基于矩阵范数或较少位编码的稀疏化策略。这些使小波包的压缩近乎完美。小波包是从频域上实现的。从时域上，我们也可采用类似的分裂和并算法，来实现信号最优的表达，这种可变窗小波成为MALVAR小波。记住，压缩是小波最大的优势。        消噪，一般的傅里叶算法，一般可以是IIR滤波和FIR滤波。两者各有优缺点。而小波的消噪，一般也是由多层分解和阈值策略组成。我们需要的是信号的特点，噪声的特点，然后确定用不用小波，或用什么小波。这点上，小波的优势并不是很明显。        特征提取。这是小波的显微镜特点很好地运用。利用模极大值和LIPSCHITZ指数，我们可以对信号的突变点做分析。但这里面的问题也是很多。首先，在不同尺度上，噪声和信号的模极大值变化不同。再次，一般我们用求内积方法，求模极大值，而不用MALLET算法，或者改用叫多孔算法的东西来做。这点，我没任何体会，希望大家多讨论吧。       这里，我不能谈应用很多的细节。但我们必须明确：1。你要对小波概念有着明确的理解。对诸如多分辨率，时频窗口与分析，框架，消失矩，模极大值，LIPSCHITZ指数等有着清醒地认识。2。你必须考虑小波在此问题上的可行性，这点尤为重要，小波不是万能的。     小波变换及其应用 X 科学技术的迅速发展使人类进入了信息时代。在信息社会中人们在各种领域中都会涉及各种 信号(语音, 音乐, 图像, 金融数据, ⋯⋯) 的分析、加工、识别、传输和存储等问题。长期以 来, 傅里叶变换一直是处理这方面问题最重要的工具, 并且已经发展了一套内容非常丰富并在许 多实际问题中行之有效的方法。但是, 用傅里叶变换分析处理信号的方法也存在着一定的局限性 与弱点, 傅里叶变换提供了信号在频率域上的详细特征, 但却把时间域上的特征完全丢失了。小 波变换是80 年代后期发展起来的新数学分支, 它是傅里叶变换的发展与扩充, 在一定程度上克服 了傅里叶变换的弱点与局限性。本文从信号分析与处理的角度来介绍小波变换的基本理论与应用, 使具有微积分基础的读者通过本文能对这一新的数学分支有一初步了解。小波变换在函数论、微 分方程、数值计算等方面也有着重要的应用, 有兴趣的读者可参看[1 ] [4 ]。 (一) 从傅里叶变换谈起 数学中经常用变换这一技巧将问题由繁难化为简易, 初等数学中用对数将较繁难的乘除法化 为简易的加减法就是很典型的一个例子。而傅里叶变换(简称FT) 则是利用积分将一个函数 f ( t) (- ∞ < t < ∞) 变为另一个函数f d (X) (- ∞ < X < ∞) : FT: f ( t) → f d (X) = ∫ ∞ - ∞ f ( t) e- iXtd t (1. 1) 当f ( t) 满足适当条件时, 它有逆变换(FT- 1) : FT- 1: f d (X) → f ( t) = 1 2P∫ ∞ - ∞ f d (X) eiXtdX (1. 2) 我们常将函数f ( t) 看作信号, 所以在本文中将函数与信号看作同义词而不加以区别, 且总假 定f ( t) 是平方可积或能量有限的, 即∫ ∞ - ∞ ûf ( t) û 2d t < ∞。今后, 我们亦称f d (X) 为f ( t) 的频谱。傅里 叶变换有两条非常重要的性质: (1) 它将对函数f ( t) 的求导运算转化为对其傅里叶变换f d (X) 的乘 法运算: FT: d d t f ( t) → iXf d (X)。(2) 它将两个函数f ( t) 与g ( t) 的卷积运算转化为乘法运算: FT: ∫ ∞ - ∞ f (u) g ( t - u) d u → f d (X) g d (X)。而很大一类信号分析与处理系统可以利用(或近似地用) 线性常 系数微分算子或卷积算子来描写其输入与输出之间的关系。对这类系统研究输入输出信号的频谱 之间的关系要比直接研究信号本身要简单方便得多。这就是所谓在频率域上考虑问题或频谱分析 的方法。长期以来, 这方面已发展了一套内容非常丰富并在许多实际问题中行之有效的方法。但由 傅里叶变换的定义(111) 可见, f d (X) 取决于f ( t) 在实轴(- ∞, ∞) 上的整体性质, 因此它不能反映 出信号在局部时间范围中的特征。而在许多实际问题中, 我们所关心的恰是信号在局部时间范围中 的特征。例如, 在音乐和语言信号中, 人们关心的是什么时刻奏什么音符, 发出什么样的音节。对雷 达和地震信号人们关心的是在什么位置出现什么样的反射波, 这正是傅里叶变换或频谱分析难以 奏效的弱点。 (二) “窗口傅里叶变换”或Gabo r 变换 针对傅里叶变换的这一弱点, 在40 年代法国学者D1Gabo r 提出了“窗口傅里叶变换”的概念。 为了研究一个函数f ( t) 在一个长度为2$ 的区间上的性质, 可以先引进一个光滑的函数g ( t) , 称为窗口函数, 它在区间(- $ + D, $ - D) 上恒等于1, 而在区间($ - D, $ + D) 及(- $ - D, $ + D) 上光滑地由1 变换为0 (这里D是一个适当小的正数)。见图1 (a)。 图1 用函数g ( t - S) (见图1 (b) ) 乘f ( t) , 相当于以t = S为中心开了一个宽度为2$ 的窗口。(当然, 这样截下的一段f ( t) g ( t - S) 与f ( t) 在区间(S- $, S+ $) 上的值相比在t = S- $ 及S+ $ 附 近会有一些变形) (见图2 (a) (b) )。 图2 称Gf (X, S) = ∫ ∞ - ∞ f ( t) g ( t - S) e- iXtdt (2. 1) 为函数f ( t) 关于窗口函数g ( t) 的“窗口”傅里叶变换或Gabo r 变换。由上面的定义可见, f ( t) 的 Gabo r 变换Gf (X, S) 反映了信号f ( t) 在t = S附近的频谱特征, 而且由于有反演公式: f ( t) = 1 2P∫ ∞ - ∞ dX∫ ∞ - ∞ eiXtg ( t - S)Gf (X, S) d S (2. 2) 可见Gf (X, S) (- ∞ < X< ∞, - ∞ < S< ∞) 确实包括了f ( t) 的全部信息。而且Gabo r 变换的 窗口位置随S而变(平移) , 符合研究信号不同位置局部性质的要求。这是它比傅里叶变换优越之 处, 因此在通信理论中发挥过一定作用。但是, Gabo r 变换窗口的形状和大小一经选定就保持不变, 与频率无关。熟知在研究高频信号的局部性质时窗口应开得小一些, 而在研究低频信号的局部性质 时窗口应开的大一些(见图3) , 也就是说窗口大小应随频率而变。 窗口大小不随频率而变, 这是Gabo r 变换的一个严重缺点。 (三) 连续小波变换的定义与基本性质 图3 80 年代后期发展起来的小波变换继承和发展了Gabo r 变换局部化的思想, 同时又克服了窗口 大小不随频率变化的缺点。为此, 首先引入一个基本小波或小波母函数W( t) , 它具有以下性质: (A ) W( t) 在有限区间外恒等于零或很快地趋于零。(这一要求使W( t) 具有“窗口”的作用, 我们 称这种函数具有较好的局部性) (B) ∫ ∞ - ∞ W( t) d t = 0。(这一要求使W( t) 的函数值必然正负交替具有波动的特点, 同时也是使小 波变换有反演公式的必要条件) 令　　W ab ( t) = 1 ûaû W t - b a 　a, b 为实数, 且a ≠ 0 (3. 1) 称为由母函数W( t) 生成的依赖于参数a, b 的连续小波。定义函数(或信号) f ( t) 的连续小波变换(简 记为W T ) 为: W T: f ( t) →W f (a, b) = 1 ûaû∫ ∞ - ∞ f ( t) W t - b a d t (3. 2) 由上面的定义可见连续小波W ab ( t) 之作用与Gabo r 变换中的函数g ( t - S) eiXt 相类似。参数b 与S都 起着将“窗口”平移的作用, 本质不同的是参数a 与参数X, 后者的变化不改变“窗口”g ( t) 的形状和 大小, 而前者的变化不仅改变连续小波的频谱特征结构, 而且也改变其“窗口”的大小与形状。   图见 /vc/ebook ...