小波变换参数设定与调整详解
引言:理解小波变换的本质
小波变换可以说是信号处理领域的一把"放大镜",它能够同时在时间和频率两个维度上观察信号的细节。与传统的傅里叶变换只能告诉我们"有什么频率成分"不同,小波变换还能告诉我们"这些频率成分在什么时候出现"。这种独特的能力使得小波变换在处理非平稳信号时表现出色。
小波变换的数学基础
在深入参数设定之前,我们需要从数学角度深入理解小波变换的本质。连续小波变换的定义为:
C W T ( a , b ) = 1 a ∫ − ∞ ∞ f ( t ) ψ ∗ ( t − b a ) d t CWT(a,b) = \frac{1}{\sqrt{a}} \int_{-\infty}^{\infty} f(t) \psi^*\left(\frac{t-b}{a}\right) dt CWT(a,b)=a1∫−∞∞f(t)ψ∗(at−b)dt
这个积分变换的深层含义可以通过能量守恒定理来理解。对于满足容许条件的小波函数:
C ψ = ∫ − ∞ ∞ ∣ ψ ^ ( ω ) ∣ 2 ∣ ω ∣ d ω < ∞ C_\psi = \int_{-\infty}^{\infty} \frac{|\hat{\psi}(\omega)|^2}{|\omega|} d\omega < \infty Cψ=∫−∞∞∣ω∣∣ψ^(ω)∣2dω<∞
存在重构公式:
f ( t ) = 1 C ψ ∫ − ∞ ∞ ∫ − ∞ ∞ C W T ( a , b ) 1 a ψ ( t − b a ) d a d b a 2 f(t) = \frac{1}{C_\psi} \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} CWT(a,b) \frac{1}{\sqrt{a}} \psi\left(\frac{t-b}{a}\right) \frac{da \, db}{a^2} f(t)=Cψ1∫−∞∞∫−∞∞CWT(a,b)a1ψ(at−b)a2dadb
这个重构公式的推导基于Plancherel定理在小波域的扩展。通过傅里叶变换,我们可以将时域的小波变换转换为频域形式:
C W T ( a , b ) = a 2 π ∫ − ∞ ∞ f ^ ( ω ) ψ ^ ∗ ( a ω ) e i ω b d ω CWT(a,b) = \frac{\sqrt{a}}{2\pi} \int_{-\infty}^{\infty} \hat{f}(\omega) \hat{\psi}^*(a\omega) e^{i\omega b} d\omega CWT(a,b)=2πa∫−∞∞f^(ω)ψ^∗(aω)eiωbdω
其中 f ^ ( ω ) \hat{f}(\omega) f^(ω) 和 ψ ^ ( ω ) \hat{\psi}(\omega) ψ^(ω) 分别是信号和小波的傅里叶变换。
对于离散小波变换,我们需要构建一个正交或双正交的小波基。设 ϕ ( t ) \phi(t) ϕ(t) 为尺度函数, ψ ( t ) \psi(t) ψ(t) 为小波函数,它们满足多分辨率分析的基本方程:
ϕ
(
t
)
=
2
∑
k
h
k
ϕ
(
2
t
−
k
)
\phi(t) = \sqrt{2} \sum_{k} h_k \phi(2t - k)
ϕ(t)=2k∑hkϕ(2t−k)
ψ
(
t
)
=
2
∑
k
g
k
ϕ
(
2
t
−
k
)
\psi(t) = \sqrt{2} \sum_{k} g_k \phi(2t - k)
ψ(t)=2k∑gkϕ(2t−k)
这里的系数 h k h_k hk 和 g k g_k gk 构成了四镜像滤波器组,满足:
∑
k
h
k
h
k
+
2
m
=
δ
m
,
0
,
∑
k
g
k
g
k
+
2
m
=
δ
m
,
0
\sum_{k} h_k h_{k+2m} = \delta_{m,0}, \quad \sum_{k} g_k g_{k+2m} = \delta_{m,0}
k∑hkhk+2m=δm,0,k∑gkgk+2m=δm,0
∑
k
h
k
g
k
+
2
m
=
0
,
∑
k
h
k
=
2
,
∑
k
g
k
=
0
\sum_{k} h_k g_{k+2m} = 0, \quad \sum_{k} h_k = \sqrt{2}, \quad \sum_{k} g_k = 0
k∑hkgk+2m=0,k∑hk=2,k∑gk=0
完整的信号重构可以表示为:
f ( t ) = ∑ k c J , k ϕ J , k ( t ) + ∑ j = 1 J ∑ k d j , k ψ j , k ( t ) f(t) = \sum_{k} c_{J,k} \phi_{J,k}(t) + \sum_{j=1}^{J} \sum_{k} d_{j,k} \psi_{j,k}(t) f(t)=k∑cJ,kϕJ,k(t)+j=1∑Jk∑dj,kψj,k(t)
其中 c J , k = ⟨ f , ϕ J , k ⟩ c_{J,k} = \langle f, \phi_{J,k} \rangle cJ,k=⟨f,ϕJ,k⟩ 是近似系数, d j , k = ⟨ f , ψ j , k ⟩ d_{j,k} = \langle f, \psi_{j,k} \rangle dj,k=⟨f,ψj,k⟩ 是细节系数。
母小波函数的选择与特性
母小波函数的选择涉及到深刻的函数分析理论。一个合格的小波函数必须满足容许条件:
∫ − ∞ ∞ ψ ( t ) d t = 0 \int_{-\infty}^{\infty} \psi(t) dt = 0 ∫−∞∞ψ(t)dt=0
这个条件等价于 ψ ^ ( 0 ) = 0 \hat{\psi}(0) = 0 ψ^(0)=0,意味着小波函数是一个带通滤波器。更一般地, p p p 阶消失矩条件可以表示为:
∫ − ∞ ∞ t k ψ ( t ) d t = 0 , k = 0 , 1 , 2 , . . . , p − 1 \int_{-\infty}^{\infty} t^k \psi(t) dt = 0, \quad k = 0, 1, 2, ..., p-1 ∫−∞∞tkψ(t)dt=0,k=0,1,2,...,p−1
对应的频域表示为:
d k ψ ^ ( ω ) d ω k ∣ ω = 0 = 0 , k = 0 , 1 , 2 , . . . , p − 1 \left.\frac{d^k \hat{\psi}(\omega)}{d\omega^k}\right|_{\omega=0} = 0, \quad k = 0, 1, 2, ..., p-1 dωkdkψ^(ω) ω=0=0,k=0,1,2,...,p−1
Daubechies小波系列的构造基于寻找最短支撑长度的正交小波。对于给定的消失矩阶数 N N N,Daubechies小波的尺度函数满足:
ϕ ^ ( ω ) = 1 2 H ( ω 2 ) ϕ ^ ( ω 2 ) \hat{\phi}(\omega) = \frac{1}{\sqrt{2}} H\left(\frac{\omega}{2}\right) \hat{\phi}\left(\frac{\omega}{2}\right) ϕ^(ω)=21H(2ω)ϕ^(2ω)
其中滤波器 H ( ω ) H(\omega) H(ω) 具有以下形式:
H ( ω ) = ( 1 + e − i ω 2 ) N Q ( e − i ω ) H(\omega) = \left(\frac{1 + e^{-i\omega}}{2}\right)^N Q(e^{-i\omega}) H(ω)=(21+e−iω)NQ(e−iω)
这里 Q ( z ) Q(z) Q(z) 是一个多项式,其系数通过求解以下约束优化问题确定:
min ∑ k k 2 ∣ h k ∣ 2 s.t. ∑ k h k h k + 2 m = δ m , 0 \min \sum_{k} k^2 |h_k|^2 \quad \text{s.t.} \quad \sum_{k} h_k h_{k+2m} = \delta_{m,0} mink∑k2∣hk∣2s.t.k∑hkhk+2m=δm,0
Morlet小波的数学表达式为:
ψ ( t ) = π − 1 / 4 e i ω 0 t e − t 2 / 2 \psi(t) = \pi^{-1/4} e^{i\omega_0 t} e^{-t^2/2} ψ(t)=π−1/4eiω0te−t2/2
其傅里叶变换为:
ψ ^ ( ω ) = π 1 / 4 2 e − ( ω − ω 0 ) 2 / 2 \hat{\psi}(\omega) = \pi^{1/4} \sqrt{2} e^{-(\omega - \omega_0)^2/2} ψ^(ω)=π1/42e−(ω−ω0)2/2
Morlet小波的时频不确定性乘积达到海森堡下界:
Δ t ⋅ Δ ω = 1 2 \Delta t \cdot \Delta \omega = \frac{1}{2} Δt⋅Δω=21
其中 Δ t = 1 2 \Delta t = \frac{1}{\sqrt{2}} Δt=21 和 Δ ω = 1 2 \Delta \omega = \frac{1}{\sqrt{2}} Δω=21。
Mexican Hat小波(也称为Ricker小波)是二阶高斯导数:
ψ ( t ) = 2 3 π 1 / 4 ( 1 − t 2 ) e − t 2 / 2 \psi(t) = \frac{2}{\sqrt{3}\pi^{1/4}} \left(1 - t^2\right) e^{-t^2/2} ψ(t)=3π1/42(1−t2)e−t2/2
其频域表示为:
ψ ^ ( ω ) = 2 2 π 3 π 1 / 4 ω 2 e − ω 2 / 2 \hat{\psi}(\omega) = \frac{2\sqrt{2\pi}}{\sqrt{3}\pi^{1/4}} \omega^2 e^{-\omega^2/2} ψ^(ω)=3π1/422πω2e−ω2/2
Mexican Hat小波具有良好的时频局域化特性,其时频窗口面积为:
A = Δ t ⋅ Δ ω = 1 2 1 + 2 π A = \Delta t \cdot \Delta \omega = \frac{1}{2}\sqrt{1 + \frac{2}{\pi}} A=Δt⋅Δω=211+π2
Biorthogonal小波允许更大的设计自由度。对于双正交小波系统,我们有两对小波-尺度函数 ( ϕ , ψ ) (\phi, \psi) (ϕ,ψ) 和 ( ϕ ~ , ψ ~ ) (\tilde{\phi}, \tilde{\psi}) (ϕ~,ψ~),它们满足双正交条件:
⟨
ϕ
j
,
k
,
ϕ
~
j
′
,
k
′
⟩
=
δ
j
,
j
′
δ
k
,
k
′
\langle \phi_{j,k}, \tilde{\phi}_{j',k'} \rangle = \delta_{j,j'} \delta_{k,k'}
⟨ϕj,k,ϕ~j′,k′⟩=δj,j′δk,k′
⟨
ψ
j
,
k
,
ψ
~
j
′
,
k
′
⟩
=
δ
j
,
j
′
δ
k
,
k
′
\langle \psi_{j,k}, \tilde{\psi}_{j',k'} \rangle = \delta_{j,j'} \delta_{k,k'}
⟨ψj,k,ψ~j′,k′⟩=δj,j′δk,k′
⟨
ϕ
j
,
k
,
ψ
~
j
′
,
k
′
⟩
=
0
\langle \phi_{j,k}, \tilde{\psi}_{j',k'} \rangle = 0
⟨ϕj,k,ψ~j′,k′⟩=0
分解和重构过程使用不同的滤波器组:
分解:KaTeX parse error: Can't use function '$' in math mode at position 36: …_{n-2k} c_{j,n}$̲,$d_{j-1,k} = \…
重构: c j , n = ∑ k h ~ n − 2 k c j − 1 , k + ∑ k g ~ n − 2 k d j − 1 , k c_{j,n} = \sum_k \tilde{h}_{n-2k} c_{j-1,k} + \sum_k \tilde{g}_{n-2k} d_{j-1,k} cj,n=k∑h~n−2kcj−1,k+k∑g~n−2kdj−1,k
尺度参数的设定与物理意义
尺度参数的数学本质可以通过仿射变换群理论来理解。小波变换实质上是信号在仿射群 a x + b ax + b ax+b 作用下的群表示。对于尺度参数 a a a 和平移参数 b b b,仿射变换的李群表示为:
g a , b = ( a b 0 1 ) , a > 0 , b ∈ R g_{a,b} = \begin{pmatrix} a & b \\ 0 & 1 \end{pmatrix}, \quad a > 0, b \in \mathbb{R} ga,b=(a0b1),a>0,b∈R
相应的左不变Haar测度为 d a d b a 2 \frac{da \, db}{a^2} a2dadb,这解释了小波变换中归一化因子的来源。
尺度参数与频率之间的精确关系可以通过尺度函数的中心频率来建立。设母小波的中心频率为:
f c = ∫ − ∞ ∞ ω ∣ ψ ^ ( ω ) ∣ 2 d ω ∫ − ∞ ∞ ∣ ψ ^ ( ω ) ∣ 2 d ω f_c = \frac{\int_{-\infty}^{\infty} \omega |\hat{\psi}(\omega)|^2 d\omega}{\int_{-\infty}^{\infty} |\hat{\psi}(\omega)|^2 d\omega} fc=∫−∞∞∣ψ^(ω)∣2dω∫−∞∞ω∣ψ^(ω)∣2dω
则对应尺度 a a a 的小波的中心频率为:
f a = f c a ⋅ Δ t f_a = \frac{f_c}{a \cdot \Delta t} fa=a⋅Δtfc
其中 Δ t \Delta t Δt 是采样间隔。
对于离散小波变换中的二进制尺度 a = 2 j a = 2^j a=2j,频率分辨率呈几何级数变化:
Δ f j = Δ f 0 2 j \Delta f_j = \frac{\Delta f_0}{2^j} Δfj=2jΔf0
这种对数频率划分与人类听觉系统的频率感知特性相符,也是小波变换在音频处理中表现优异的原因之一。尺度参数的选择范围受到信号长度和采样定理的约束。对于长度为 N N N 的信号,有效的尺度范围为:
a m i n = 2 Δ t T ψ , a m a x = N Δ t 2 a_{min} = \frac{2 \Delta t}{T_{\psi}}, \quad a_{max} = \frac{N \Delta t}{2} amin=Tψ2Δt,amax=2NΔt
其中 T ψ T_{\psi} Tψ 是母小波的有效支撑长度。
小波系数的统计特性与尺度参数密切相关。对于分数Brown运动等自相似过程,小波系数的方差满足:
Var [ W ( j , k ) ] ∝ 2 j ( 2 H + 1 ) \text{Var}[W(j,k)] \propto 2^{j(2H+1)} Var[W(j,k)]∝2j(2H+1)
其中 H H H 是Hurst指数。这个关系为基于小波的分形参数估计提供了理论基础。
分解层数的确定策略
分解层数的选择涉及到信息论和逼近论的深层理论。每一层分解实际上是对信号进行带通和低通滤波的过程,可以用子空间投影来描述。
设 V j V_j Vj 表示第 j j j 层的逼近空间, W j W_j Wj 表示第 j j j 层的细节空间,则多分辨率分析的核心关系为:
V j = V j − 1 ⊕ W j − 1 V_j = V_{j-1} \oplus W_{j-1} Vj=Vj−1⊕Wj−1
这意味着每一层分解将信号分解为两个正交的子空间。信号在第 j j j 层的逼近误差可以表示为:
E j = ∥ f − P V j f ∥ 2 = ∑ k = − ∞ j − 1 ∥ P W k f ∥ 2 E_j = \|f - P_{V_j} f\|^2 = \sum_{k=-\infty}^{j-1} \|P_{W_k} f\|^2 Ej=∥f−PVjf∥2=k=−∞∑j−1∥PWkf∥2
其中 P V j P_{V_j} PVj 和 P W k P_{W_k} PWk 分别是到相应子空间的正交投影算子。
对于具有Hölder连续性的函数 f ∈ C α f \in C^{\alpha} f∈Cα,逼近误差的上界可以表示为:
E j ≤ C ⋅ 2 − j ( 2 α + 1 ) E_j \leq C \cdot 2^{-j(2\alpha + 1)} Ej≤C⋅2−j(2α+1)
这个不等式告诉我们,分解层数与逼近精度之间存在指数关系。
从信息论角度,第 j j j 层分解的信息增益可以用熵的减少来衡量:
I j = H ( f ) − H ( f ∣ c j − 1 , d j − 1 ) I_j = H(f) - H(f|c_{j-1}, d_{j-1}) Ij=H(f)−H(f∣cj−1,dj−1)
其中 H ( ⋅ ) H(\cdot) H(⋅) 表示熵函数。最优分解层数应该使得边际信息增益趋于零:
∂ I j ∂ j → 0 \frac{\partial I_j}{\partial j} \rightarrow 0 ∂j∂Ij→0
对于加性高斯噪声情况,信噪比与分解层数的关系可以通过以下递推关系描述:
S N R j = E [ ∣ c j , k ∣ 2 ] E [ ∣ n j , k ∣ 2 ] = S N R j + 1 + S N R j d e t a i l 2 SNR_j = \frac{E[|c_{j,k}|^2]}{E[|n_{j,k}|^2]} = \frac{SNR_{j+1} + SNR_j^{detail}}{2} SNRj=E[∣nj,k∣2]E[∣cj,k∣2]=2SNRj+1+SNRjdetail
其中 S N R j d e t a i l SNR_j^{detail} SNRjdetail 是第 j j j 层细节系数的信噪比。
从小波系数的统计分布角度,可以通过Kolmogorov-Smirnov检验来确定最优分解层数。检验统计量为:
D j = sup x ∣ F j ( x ) − F noise ( x ) ∣ D_j = \sup_x |F_j(x) - F_{\text{noise}}(x)| Dj=xsup∣Fj(x)−Fnoise(x)∣
其中 F j ( x ) F_j(x) Fj(x) 是第 j j j 层小波系数的经验分布函数, F noise ( x ) F_{\text{noise}}(x) Fnoise(x) 是噪声的理论分布函数。
边界处理方法的选择
边界处理的数学理论建立在函数延拓和算子理论基础上。设原始信号为 f : [ 0 , N − 1 ] → R f: [0, N-1] \rightarrow \mathbb{R} f:[0,N−1]→R,边界处理的目标是构造一个延拓函数 f ~ : Z → R \tilde{f}: \mathbb{Z} \rightarrow \mathbb{R} f~:Z→R,使得小波变换算子在延拓后的函数上保持某些理想性质。
零填充方法的数学表达为:
f ~ ( n ) = f ( n ) ⋅ 1 [ 0 , N − 1 ] ( n ) \tilde{f}(n) = f(n) \cdot \mathbf{1}_{[0, N-1]}(n) f~(n)=f(n)⋅1[0,N−1](n)
其中 1 [ 0 , N − 1 ] ( n ) \mathbf{1}_{[0, N-1]}(n) 1[0,N−1](n) 是示性函数。这种方法引入的误差可以通过以下积分来评估:
E z e r o = ∫ − ∞ 0 ∣ ψ a , b ( t ) ∣ 2 d t + ∫ N ∞ ∣ ψ a , b ( t ) ∣ 2 d t E_{zero} = \int_{-\infty}^{0} |\psi_{a,b}(t)|^2 dt + \int_{N}^{\infty} |\psi_{a,b}(t)|^2 dt Ezero=∫−∞0∣ψa,b(t)∣2dt+∫N∞∣ψa,b(t)∣2dt
周期延拓方法通过模运算实现:
f ~ ( n ) = f ( n m o d N ) \tilde{f}(n) = f(n \bmod N) f~(n)=f(nmodN)
对应的傅里叶变换为:
f ~ ^ ( k ) = ∑ m = − ∞ ∞ f ^ ( 2 π k N + 2 π m ) \hat{\tilde{f}}(k) = \sum_{m=-\infty}^{\infty} \hat{f}\left(\frac{2\pi k}{N} + 2\pi m\right) f~^(k)=m=−∞∑∞f^(N2πk+2πm)
这种延拓方法保持了信号的功率谱,但可能在边界处引入跳跃不连续。
对称延拓方法可以分为奇对称和偶对称两种。偶对称延拓的数学表达为:
f ~ ( n ) = { f ( − n ) , − M ≤ n < 0 f ( n ) , 0 ≤ n ≤ N − 1 f ( 2 N − 2 − n ) , N ≤ n < N + M \tilde{f}(n) = \begin{cases} f(-n), & -M \leq n < 0 \\ f(n), & 0 \leq n \leq N-1 \\ f(2N-2-n), & N \leq n < N+M \end{cases} f~(n)=⎩ ⎨ ⎧f(−n),f(n),f(2N−2−n),−M≤n<00≤n≤N−1N≤n<N+M
奇对称延拓则为:
f ~ ( n ) = { − f ( − n − 1 ) , − M ≤ n < 0 f ( n ) , 0 ≤ n ≤ N − 1 − f ( 2 N − 1 − n ) , N ≤ n < N + M \tilde{f}(n) = \begin{cases} -f(-n-1), & -M \leq n < 0 \\ f(n), & 0 \leq n \leq N-1 \\ -f(2N-1-n), & N \leq n < N+M \end{cases} f~(n)=⎩ ⎨ ⎧−f(−n−1),f(n),−f(2N−1−n),−M≤n<00≤n≤N−1N≤n<N+M
对称延拓保持了信号在边界处的连续性,其延拓误差可以用信号的二阶导数来界定:
E s y m ≤ C ⋅ max t ∈ [ 0 , N ] ∣ f ′ ′ ( t ) ∣ ⋅ a 2 E_{sym} \leq C \cdot \max_{t \in [0,N]} |f''(t)| \cdot a^2 Esym≤C⋅t∈[0,N]max∣f′′(t)∣⋅a2
其中 C C C 是与小波函数相关的常数。
双正交边界小波提供了更精确的边界处理方法。通过在边界附近使用修正的小波基函数,可以保持重构的精确性。边界小波 ψ ( L ) \psi^{(L)} ψ(L) 满足:
∫ 0 ∞ t k ψ ( L ) ( t ) d t = 0 , k = 0 , 1 , . . . , N ~ − 1 \int_0^{\infty} t^k \psi^{(L)}(t) dt = 0, \quad k = 0, 1, ..., \tilde{N}-1 ∫0∞tkψ(L)(t)dt=0,k=0,1,...,N~−1
其中 N ~ \tilde{N} N~ 是边界小波的消失矩阶数。
阈值处理的参数设定
阈值处理的理论基础建立在统计估计理论和稀疏逼近理论之上。考虑加性噪声模型:
y i = x i + ϵ i , i = 1 , 2 , . . . , n y_i = x_i + \epsilon_i, \quad i = 1, 2, ..., n yi=xi+ϵi,i=1,2,...,n
其中 ϵ i ∼ N ( 0 , σ 2 ) \epsilon_i \sim \mathcal{N}(0, \sigma^2) ϵi∼N(0,σ2) 是高斯白噪声。在小波域中,这个模型变为:
w i = θ i + z i w_i = \theta_i + z_i wi=θi+zi
其中 w i w_i wi 是观测到的小波系数, θ i \theta_i θi 是真实的小波系数, z i z_i zi 是噪声项。
软阈值算子的数学定义为:
T λ s o f t ( w ) = sign ( w ) max ( ∣ w ∣ − λ , 0 ) \mathcal{T}_{\lambda}^{soft}(w) = \text{sign}(w) \max(|w| - \lambda, 0) Tλsoft(w)=sign(w)max(∣w∣−λ,0)
硬阈值算子定义为:
T λ h a r d ( w ) = w ⋅ 1 ∣ w ∣ > λ \mathcal{T}_{\lambda}^{hard}(w) = w \cdot \mathbf{1}_{|w| > \lambda} Tλhard(w)=w⋅1∣w∣>λ
Donoho和Johnstone证明了软阈值估计的渐近最优性。对于正交小波变换,软阈值估计 θ ^ = T λ s o f t ( w ) \hat{\theta} = \mathcal{T}_{\lambda}^{soft}(w) θ^=Tλsoft(w) 在均方误差意义下近似最优,其风险函数为:
R ( θ ^ , θ ) = E [ ∥ θ ^ − θ ∥ 2 ] = ∑ i = 1 n ρ ( θ i / σ , λ / σ ) σ 2 R(\hat{\theta}, \theta) = E[\|\hat{\theta} - \theta\|^2] = \sum_{i=1}^{n} \rho(\theta_i/\sigma, \lambda/\sigma) \sigma^2 R(θ^,θ)=E[∥θ^−θ∥2]=i=1∑nρ(θi/σ,λ/σ)σ2
其中风险函数 ρ ( t , λ ) \rho(t, \lambda) ρ(t,λ) 对于软阈值为:
ρ s o f t ( t , λ ) = min ( t 2 , λ 2 ) + max ( ∣ t ∣ − λ , 0 ) 2 \rho_{soft}(t, \lambda) = \min(t^2, \lambda^2) + \max(|t| - \lambda, 0)^2 ρsoft(t,λ)=min(t2,λ2)+max(∣t∣−λ,0)2
通用阈值的推导基于极值理论。对于长度为 n n n 的高斯随机向量,其最大值的渐近分布为:
P ( max 1 ≤ i ≤ n ∣ Z i ∣ ≤ σ 2 log n ) → 1 as n → ∞ P\left(\max_{1 \leq i \leq n} |Z_i| \leq \sigma\sqrt{2\log n}\right) \rightarrow 1 \quad \text{as } n \rightarrow \infty P(1≤i≤nmax∣Zi∣≤σ2logn)→1as n→∞
因此通用阈值 λ u n i v = σ 2 log n \lambda_{univ} = \sigma\sqrt{2\log n} λuniv=σ2logn 能够以概率1去除所有噪声。
SURE阈值(Stein’s Unbiased Risk Estimator)提供了数据驱动的阈值选择方法。SURE函数定义为:
S U R E ( λ ) = n − 2 # { i : ∣ w i ∣ ≤ λ } + ∑ i = 1 n min ( w i 2 , λ 2 ) SURE(\lambda) = n - 2\#\{i: |w_i| \leq \lambda\} + \sum_{i=1}^{n} \min(w_i^2, \lambda^2) SURE(λ)=n−2#{i:∣wi∣≤λ}+i=1∑nmin(wi2,λ2)
最优阈值为:
λ S U R E = arg min λ S U R E ( λ ) \lambda_{SURE} = \arg\min_{\lambda} SURE(\lambda) λSURE=argλminSURE(λ)
贝叶斯阈值基于先验分布假设。假设小波系数服从尺度混合正态分布:
θ i ∣ p i ∼ ( 1 − p i ) δ 0 + p i N ( 0 , τ 2 ) \theta_i | p_i \sim (1-p_i)\delta_0 + p_i \mathcal{N}(0, \tau^2) θi∣pi∼(1−pi)δ0+piN(0,τ2)
其中 p i p_i pi 是第 i i i 个系数非零的概率。后验均值估计为:
θ ^ i = τ 2 τ 2 + σ 2 w i ⋅ P ( θ i ≠ 0 ∣ w i ) \hat{\theta}_i = \frac{\tau^2}{\tau^2 + \sigma^2} w_i \cdot P(\theta_i \neq 0 | w_i) θ^i=τ2+σ2τ2wi⋅P(θi=0∣wi)
其中后验概率为:
P ( θ i ≠ 0 ∣ w i ) = p i ϕ ( w i / τ 2 + σ 2 ) ( 1 − p i ) ϕ ( w i / σ ) + p i ϕ ( w i / τ 2 + σ 2 ) P(\theta_i \neq 0 | w_i) = \frac{p_i \phi(w_i/\sqrt{\tau^2 + \sigma^2})}{(1-p_i)\phi(w_i/\sigma) + p_i \phi(w_i/\sqrt{\tau^2 + \sigma^2})} P(θi=0∣wi)=(1−pi)ϕ(wi/σ)+piϕ(wi/τ2+σ2)piϕ(wi/τ2+σ2)
自适应阈值考虑小波系数在不同尺度上的统计特性差异。对于第 j j j 层的系数,其方差估计为:
σ ^ j 2 = median ( ∣ d j , k ∣ k ) 0.6745 \hat{\sigma}_j^2 = \frac{\text{median}(|d_{j,k}|_{k})}{0.6745} σ^j2=0.6745median(∣dj,k∣k)
相应的自适应阈值为:
λ j = σ ^ j 2 log ( n j ) \lambda_j = \hat{\sigma}_j \sqrt{2\log(n_j)} λj=σ^j2log(nj)
其中 n j n_j nj 是第 j j j 层的系数个数。
自适应参数优化策略
自适应参数优化的数学基础建立在优化理论和统计学习理论之上。参数优化问题可以形式化为:
θ ^ = arg min θ ∈ Θ L ( θ , D ) + λ R ( θ ) \hat{\theta} = \arg\min_{\theta \in \Theta} \mathcal{L}(\theta, D) + \lambda R(\theta) θ^=argθ∈ΘminL(θ,D)+λR(θ)
其中 L ( θ , D ) \mathcal{L}(\theta, D) L(θ,D) 是基于数据 D D D 的损失函数, R ( θ ) R(\theta) R(θ) 是正则化项, λ \lambda λ 是正则化参数。
交叉验证方法的理论基础是统计学习中的结构风险最小化原理。 k k k-折交叉验证的风险估计为:
C V k ( θ ) = 1 k ∑ i = 1 k L ( θ , D − i , D i ) CV_k(\theta) = \frac{1}{k} \sum_{i=1}^{k} \mathcal{L}(\theta, D_{-i}, D_i) CVk(θ)=k1i=1∑kL(θ,D−i,Di)
其中 D − i D_{-i} D−i 表示除第 i i i 折之外的训练数据, D i D_i Di 是第 i i i 折测试数据。交叉验证估计的偏差和方差可以表示为:
Bias
[
C
V
k
(
θ
)
]
=
E
[
C
V
k
(
θ
)
]
−
L
t
r
u
e
(
θ
)
\text{Bias}[CV_k(\theta)] = E[CV_k(\theta)] - \mathcal{L}_{true}(\theta)
Bias[CVk(θ)]=E[CVk(θ)]−Ltrue(θ)
Var
[
C
V
k
(
θ
)
]
=
Var
[
1
k
∑
i
=
1
k
L
(
θ
,
D
−
i
,
D
i
)
]
\text{Var}[CV_k(\theta)] = \text{Var}\left[\frac{1}{k} \sum_{i=1}^{k} \mathcal{L}(\theta, D_{-i}, D_i)\right]
Var[CVk(θ)]=Var[k1i=1∑kL(θ,D−i,Di)]
信息准则方法基于信息论的原理。Akaike信息准则(AIC)定义为:
A I C = − 2 log L ( θ ^ ) + 2 p AIC = -2\log \mathcal{L}(\hat{\theta}) + 2p AIC=−2logL(θ^)+2p
其中 p p p 是模型参数个数。对于小波去噪问题, p p p 对应于非零小波系数的个数。
贝叶斯信息准则(BIC)在AIC基础上加入了样本量的影响:
B I C = − 2 log L ( θ ^ ) + p log n BIC = -2\log \mathcal{L}(\hat{\theta}) + p \log n BIC=−2logL(θ^)+plogn
最小描述长度(MDL)原理提供了另一种参数选择框架:
M D L = − log P ( D ∣ θ ) − log P ( θ ) MDL = -\log P(D|\theta) - \log P(\theta) MDL=−logP(D∣θ)−logP(θ)
其中第一项是负对数似然,第二项是参数的先验概率。
遗传算法的数学描述涉及到随机过程理论。设种群为 P ( t ) = { x 1 ( t ) , x 2 ( t ) , . . . , x N ( t ) } P(t) = \{x_1(t), x_2(t), ..., x_N(t)\} P(t)={x1(t),x2(t),...,xN(t)},其中 x i ( t ) x_i(t) xi(t) 是第 t t t 代的第 i i i 个个体。选择操作的概率为:
P ( x i selected ) = f ( x i ) ∑ j = 1 N f ( x j ) P(x_i \text{ selected}) = \frac{f(x_i)}{\sum_{j=1}^{N} f(x_j)} P(xi selected)=∑j=1Nf(xj)f(xi)
其中 f ( x i ) f(x_i) f(xi) 是适应度函数。交叉操作可以表示为:
x n e w = α x 1 + ( 1 − α ) x 2 x_{new} = \alpha x_1 + (1-\alpha) x_2 xnew=αx1+(1−α)x2
其中 α \alpha α 是交叉概率。变异操作为:
x m u t a t e d = x + N ( 0 , σ m 2 ) x_{mutated} = x + \mathcal{N}(0, \sigma_m^2) xmutated=x+N(0,σm2)
**粒子群优化(PSO)**算法的数学模型为:
v
i
,
d
t
+
1
=
w
⋅
v
i
,
d
t
+
c
1
⋅
r
1
⋅
(
p
i
,
d
−
x
i
,
d
t
)
+
c
2
⋅
r
2
⋅
(
g
d
−
x
i
,
d
t
)
v_{i,d}^{t+1} = w \cdot v_{i,d}^{t} + c_1 \cdot r_1 \cdot (p_{i,d} - x_{i,d}^{t}) + c_2 \cdot r_2 \cdot (g_d - x_{i,d}^{t})
vi,dt+1=w⋅vi,dt+c1⋅r1⋅(pi,d−xi,dt)+c2⋅r2⋅(gd−xi,dt)
x
i
,
d
t
+
1
=
x
i
,
d
t
+
v
i
,
d
t
+
1
x_{i,d}^{t+1} = x_{i,d}^{t} + v_{i,d}^{t+1}
xi,dt+1=xi,dt+vi,dt+1
其中 w w w 是惯性权重, c 1 c_1 c1 和 c 2 c_2 c2 是加速因子, r 1 r_1 r1 和 r 2 r_2 r2 是随机数, p i , d p_{i,d} pi,d 是个体最优位置, g d g_d gd 是全局最优位置。
梯度下降方法在连续参数空间中的应用:
θ ( t + 1 ) = θ ( t ) − α ∇ θ L ( θ ( t ) ) \theta^{(t+1)} = \theta^{(t)} - \alpha \nabla_{\theta} \mathcal{L}(\theta^{(t)}) θ(t+1)=θ(t)−α∇θL(θ(t))
对于小波参数优化,梯度计算涉及到链式法则:
∂ L ∂ θ = ∑ i , j ∂ L ∂ w i , j ∂ w i , j ∂ θ \frac{\partial \mathcal{L}}{\partial \theta} = \sum_{i,j} \frac{\partial \mathcal{L}}{\partial w_{i,j}} \frac{\partial w_{i,j}}{\partial \theta} ∂θ∂L=i,j∑∂wi,j∂L∂θ∂wi,j
其中 w i , j w_{i,j} wi,j 是小波系数。
频域特性与参数关系
小波变换的频域分析需要借助调和分析和泛函分析的理论工具。小波函数的频域特性直接决定了其时频局域化性能,这与Heisenberg不确定性原理密切相关。
对于任意函数 f ∈ L 2 ( R ) f \in L^2(\mathbb{R}) f∈L2(R),其时间和频率的均方根宽度定义为:
( Δ t ) 2 = ∫ − ∞ ∞ t 2 ∣ f ( t ) ∣ 2 d t ∫ − ∞ ∞ ∣ f ( t ) ∣ 2 d t − ( ∫ − ∞ ∞ t ∣ f ( t ) ∣ 2 d t ∫ − ∞ ∞ ∣ f ( t ) ∣ 2 d t ) 2 (\Delta t)^2 = \frac{\int_{-\infty}^{\infty} t^2 |f(t)|^2 dt}{\int_{-\infty}^{\infty} |f(t)|^2 dt} - \left(\frac{\int_{-\infty}^{\infty} t |f(t)|^2 dt}{\int_{-\infty}^{\infty} |f(t)|^2 dt}\right)^2 (Δt)2=∫−∞∞∣f(t)∣2dt∫−∞∞t2∣f(t)∣2dt−(∫−∞∞∣f(t)∣2dt∫−∞∞t∣f(t)∣2dt)2
( Δ ω ) 2 = ∫ − ∞ ∞ ω 2 ∣ f ^ ( ω ) ∣ 2 d ω ∫ − ∞ ∞ ∣ f ^ ( ω ) ∣ 2 d ω − ( ∫ − ∞ ∞ ω ∣ f ^ ( ω ) ∣ 2 d ω ∫ − ∞ ∞ ∣ f ^ ( ω ) ∣ 2 d ω ) 2 (\Delta \omega)^2 = \frac{\int_{-\infty}^{\infty} \omega^2 |\hat{f}(\omega)|^2 d\omega}{\int_{-\infty}^{\infty} |\hat{f}(\omega)|^2 d\omega} - \left(\frac{\int_{-\infty}^{\infty} \omega |\hat{f}(\omega)|^2 d\omega}{\int_{-\infty}^{\infty} |\hat{f}(\omega)|^2 d\omega}\right)^2 (Δω)2=∫−∞∞∣f^(ω)∣2dω∫−∞∞ω2∣f^(ω)∣2dω−(∫−∞∞∣f^(ω)∣2dω∫−∞∞ω∣f^(ω)∣2dω)2
不确定性原理要求:
Δ t ⋅ Δ ω ≥ 1 2 \Delta t \cdot \Delta \omega \geq \frac{1}{2} Δt⋅Δω≥21
等号成立当且仅当 f ( t ) f(t) f(t) 是高斯函数。
Daubechies小波的频域响应可以通过其构造过程来分析。 d b N db_N dbN 小波的滤波器传递函数为:
H ( ω ) = ( 1 + e − i ω 2 ) N P ( ω ) H(\omega) = \left(\frac{1 + e^{-i\omega}}{2}\right)^N P(\omega) H(ω)=(21+e−iω)NP(ω)
其中 P ( ω ) P(\omega) P(ω) 是一个三角多项式。相应的尺度函数的频域响应为:
ϕ ^ ( ω ) = ∏ k = 1 ∞ H ( ω / 2 k ) 2 \hat{\phi}(\omega) = \prod_{k=1}^{\infty} \frac{H(\omega/2^k)}{\sqrt{2}} ϕ^(ω)=k=1∏∞2H(ω/2k)
小波函数的频域响应则为:
ψ ^ ( ω ) = G ( ω / 2 ) 2 ϕ ^ ( ω / 2 ) \hat{\psi}(\omega) = \frac{G(\omega/2)}{\sqrt{2}} \hat{\phi}(\omega/2) ψ^(ω)=2G(ω/2)ϕ^(ω/2)
其中 G ( ω ) = e − i ω H ( ω + π ) ‾ G(\omega) = e^{-i\omega} \overline{H(\omega + \pi)} G(ω)=e−iωH(ω+π)。
Daubechies小波的频域衰减特性可以表示为:
∥ h a t ψ ( ω ) ∣ = O ( ∣ ω ∣ − N ) as ∣ ω ∣ → ∞ \|hat{\psi}(\omega)| = O(|\omega|^{-N}) \quad \text{as } |\omega| \rightarrow \infty ∥hatψ(ω)∣=O(∣ω∣−N)as ∣ω∣→∞
这意味着更高阶的Daubechies小波具有更好的频域局域化特性。
小波包分解提供了更灵活的频域划分方式。小波包函数 w n ( j ) ( t ) w_n^{(j)}(t) wn(j)(t) 满足递推关系:
w
2
n
(
j
+
1
)
(
t
)
=
2
∑
k
h
k
w
n
(
j
)
(
2
t
−
k
)
w_{2n}^{(j+1)}(t) = \sqrt{2} \sum_k h_k w_n^{(j)}(2t - k)
w2n(j+1)(t)=2k∑hkwn(j)(2t−k)
w
2
n
+
1
(
j
+
1
)
(
t
)
=
2
∑
k
g
k
w
n
(
j
)
(
2
t
−
k
)
w_{2n+1}^{(j+1)}(t) = \sqrt{2} \sum_k g_k w_n^{(j)}(2t - k)
w2n+1(j+1)(t)=2k∑gkwn(j)(2t−k)
初始条件为 w 0 ( 0 ) ( t ) = ϕ ( t ) w_0^{(0)}(t) = \phi(t) w0(0)(t)=ϕ(t), w 1 ( 0 ) ( t ) = ψ ( t ) w_1^{(0)}(t) = \psi(t) w1(0)(t)=ψ(t)。
小波包的频域支撑区间为:
supp ( w ^ n ( j ) ) ⊆ [ n π 2 j , ( n + 1 ) π 2 j ] \text{supp}(\hat{w}_n^{(j)}) \subseteq \left[\frac{n\pi}{2^j}, \frac{(n+1)\pi}{2^j}\right] supp(w^n(j))⊆[2jnπ,2j(n+1)π]
滤波器组理论为小波变换的频域分析提供了系统框架。完美重构滤波器组需要满足:
H
0
(
ω
)
H
0
∗
(
ω
)
+
H
1
(
ω
)
H
1
∗
(
ω
)
=
2
H_0(\omega)H_0^*(\omega) + H_1(\omega)H_1^*(\omega) = 2
H0(ω)H0∗(ω)+H1(ω)H1∗(ω)=2
H
0
(
ω
)
H
0
∗
(
ω
+
π
)
+
H
1
(
ω
)
H
1
∗
(
ω
+
π
)
=
0
H_0(\omega)H_0^*(\omega + \pi) + H_1(\omega)H_1^*(\omega + \pi) = 0
H0(ω)H0∗(ω+π)+H1(ω)H1∗(ω+π)=0
其中 H 0 ( ω ) H_0(\omega) H0(ω) 和 H 1 ( ω ) H_1(\omega) H1(ω) 分别是低通和高通分析滤波器。
对于双正交小波,重构滤波器 H ~ 0 ( ω ) \tilde{H}_0(\omega) H~0(ω) 和 H ~ 1 ( ω ) \tilde{H}_1(\omega) H~1(ω) 需要满足:
H
0
(
ω
)
H
~
0
∗
(
ω
)
+
H
1
(
ω
)
H
~
1
∗
(
ω
)
=
2
H_0(\omega)\tilde{H}_0^*(\omega) + H_1(\omega)\tilde{H}_1^*(\omega) = 2
H0(ω)H~0∗(ω)+H1(ω)H~1∗(ω)=2
H
0
(
ω
)
H
~
0
∗
(
ω
+
π
)
+
H
1
(
ω
)
H
~
1
∗
(
ω
+
π
)
=
0
H_0(\omega)\tilde{H}_0^*(\omega + \pi) + H_1(\omega)\tilde{H}_1^*(\omega + \pi) = 0
H0(ω)H~0∗(ω+π)+H1(ω)H~1∗(ω+π)=0
小波变换的能量分布遵循Parseval定理的推广形式。对于正交小波变换:
∥ f ∥ 2 = ∑ k ∣ c J , k ∣ 2 + ∑ j = 1 J ∑ k ∣ d j , k ∣ 2 \|f\|^2 = \sum_k |c_{J,k}|^2 + \sum_{j=1}^{J} \sum_k |d_{j,k}|^2 ∥f∥2=k∑∣cJ,k∣2+j=1∑Jk∑∣dj,k∣2
各频率带的能量分布为:
E j = ∑ k ∣ d j , k ∣ 2 = ∫ 2 j − 1 π 2 j π ∣ f ^ ( ω ) ∣ 2 d ω E_j = \sum_k |d_{j,k}|^2 = \int_{2^{j-1}\pi}^{2^j\pi} |\hat{f}(\omega)|^2 d\omega Ej=k∑∣dj,k∣2=∫2j−1π2jπ∣f^(ω)∣2dω
这个关系将小波系数的统计特性与信号的功率谱密度联系起来。