【小波分析】六、小波分析与非线性逼近（上）

【小波分析】六、小波分析与非线性逼近（上）

神经网络与小波分析相结合, 分形几何与小波分析相结合是国际上研究的热点之一。基于神经网络的智能处理技术, 模糊计算、进化计算与神经网络结合的研究, 没有小波理论的嵌人很难取得突破。非线性科学的研究正呼唤小波分析, 也许非线性小波分析是解决非线性科学问题的理想工具。

对偶

回忆一下，在线性代数中，如果给定 ${\mathbb{R}}^n$ 空间的一组基，不妨设为 ${\mathbf{e}}_k$，每个 $k$ 对应于一个 $n$ 维的列向量，它们不必是单位向量，也不必是正交的。那么，给定空间的一个向量 $\mathbf{v}$，它在每个 ${\mathbf{e}}_k$ 上的系数，就等于 $\mathbf{v}$ 和 ${\mathbf{e}}_k$ 对偶上的内积。即
$$\mathbf{v}=\sum _{k=1}^n(\mathbf{v},{\tilde{\mathbf{e}}}_k){\mathbf{e}}_k$$

其中，$(\cdot ,\cdot )$ 表示向量内积。${\tilde{\mathbf{e}}}_k$ 表示 ${\mathbf{e}}_k$ 的对偶（在这组基的意义下），即
$$({\mathbf{e}}_j,{\tilde{\mathbf{e}}}_k)={\delta }_{j,k}.$$

$\delta$ 表示 Kronecker delta 函数，$j=k$ 为 1，$j\ne k$ 为零。

理解一下，我们要找一个向量在一组基下的表示，无非就是要找到这组基张成的矩阵的逆，所谓的对偶，其实本质上反映的就是基向量张成的空间的逆。当基函数是标准正交基的时候，它张成的矩阵是个酉矩阵，那么它的逆本质上就等同于自身，此时，${\tilde{\mathbf{e}}}_k={\mathbf{e}}_k$。

把它推广到函数空间，也是一样的。在 $L^2(\mathbb{R})$ 空间中定义对偶 ${\tilde{\phi }}_k$，

$$<{\phi }_j,{\tilde{\phi }}_k>:={\int }_{\mathbb{R}}{\phi }_j{\tilde{\phi }}_k\mathrm{d}x={\delta }_{jk}$$

那么，任意的 $f\in L^2(\mathbb{R})$，我们有

$$f=\sum _{k=1}^n<f,{\tilde{\phi }}_k>{\phi }_k.$$

非常干净，非常简洁的表示。在理论分析上很有用。

插值空间

这里直接给出插值空间 $(X,Y{)}_{\theta ,q}$ 的定义，它是满足以下半范有限的所有的 $f$ 的集合：
$$|f{|}_{(X,Y{)}_{\theta ,q}}:=\{\begin{array}{ll}{\left({\int }_0^{\infty }{\left[t^{-\theta }K(f,t)\right]}^q\frac{\mathrm{d}t}{t}\right)}^{1/q},& 0<q<\infty \\ {\sup }_{t>0}{t}^{-\theta }K(f,t),& q=\infty \end{array}$$

这里的 $K$ 泛函定义为，
$$K(f,t):=K(f,t;X,Y):=\underset{g\in Y}{\inf }\Vert f-g{\Vert }_X+t|g{|}_Y$$
这里的 $Y$ 是连续地嵌入到 $X$ 里面，即
$$Y\subset X\text{ 且}\Vert \cdot {\Vert }_X\le C\Vert \cdot {\Vert }_Y$$

平移不变空间

对于 $L_2\left({\mathbb{R}}^d\right)$ 上的一个紧支函数 $\phi$ ，我们可以定义其生成的 PSI（principal shift invariant） 空间 $\mathcal{S}:=\mathcal{S}(\phi )$，它表示 $\phi$ 的平移的所有有限线性组合构成的集合的闭包。同样地，我们定义 ${\mathcal{S}}_k:={\mathcal{S}}_k(\phi )$ 为 $\mathcal{S}(\phi )$ 的 $2^k$ 压缩。那么，我们可以定义逼近误差，
$$E_k(f):=E_k(f{)}_2:=\underset{S\in {\mathcal{S}}_k}{\inf }\Vert f-S{\Vert }_{L_2\left({\mathbb{R}}^d\right)},k=0,1,\dots$$

定义 $r$ 阶 Strang-Fix 条件如下，
φ ^ ( 0 ) ≠ 0 ,  and  D j φ ^ ( 2 k π ) = 0 , k ∈ Z d \ { 0 } , ∣ j ∣ < r \hat{\varphi}(0) \neq 0, \text { and } D^{j} \hat{\varphi}(2 k \pi)=0, \quad k \in \mathbb{Z}^{d} \backslash\{0\},|j|<r φ^​(0)​=0, and Djφ^​(2kπ)=0,k∈Zd\{0},∣j∣<r

我们引入 Jackson 不等式，对于所有 Sobolev 空间 $W^r\left(L_2\left({\mathbb{R}}^d\right)\right)$ 中的函数 $f$，有

$$E_k(f)\le C{2}^{-kr}|f{|}_{W^r\left(L_2\left({\mathbb{R}}^d\right)\right)},k=0,1,\dots$$

相对应的 Berstein 不等式是，
$$|S{|}_{W^r\left(L_2\left({\mathbb{R}}^d\right)\right)}\le C{2}^{kr}\Vert S{\Vert }_{L_2\left({\mathbb{R}}^d\right)},S\in {\mathcal{S}}_k$$

那么我们可以给出逼近空间的刻画，
$${\mathcal{A}}_q^{\alpha }\left(L_2\left({\mathbb{R}}^d\right)\right)=B_q^{\alpha }\left(L_2\left({\mathbb{R}}^d\right)\right),0<\alpha <r,0<q\le \infty$$

这个的证明利用到了 $r$ 阶光滑模量和 $K$ 泛函的等价性可以得到。其中，${\mathcal{A}}_q^{\alpha }:={\mathcal{A}}_q^{\alpha }\left(X,\left(X_n\right)\right)$ （子空间序列 $X_n\subset X$）是所有满足如下半范数有界的 $f$ 的集合：
$$|f{|}_{{\mathcal{A}}_q^{\alpha }}:=\{\begin{array}{ll}{\left({\sum }_{n=1}^{\infty }{\left[n^{\alpha }{E}_n(f{)}_X\right]}^q\frac{1}{n}\right)}^{1/q},& 0<q<\infty \\ {\sup }_{n\ge 1}{n}^{\alpha }{E}_n(f{)}_X,& q=\infty \end{array}$$
逼近空间范数的定义，是通过函数与一族子空间的某种距离来刻画的。若我们用函数的点点光滑性来定义范数，我们就可以得到 Besov 空间，即如下定义的半范数是有限的：
$$|f{|}_{B_q^{\alpha }\left(L_p(\Omega )\right)}:=\{\begin{array}{ll}{\left({\int }_0^{\infty }{\left[t^{-\alpha }{\omega }_r(f,t{)}_p\right]}^q\frac{\mathrm{d}t}{t}\right)}^{1/q},& 0<q<\infty \\ {\sup }_{t>0}{t}^{-\alpha }{\omega }_r(f,t{)}_p,& q=\infty \end{array}$$
其中，$r$ 阶光滑模量的定义如下，
$${\omega }_r(f,t{)}_p:=\underset{|h|\le t}{\sup }{\Vert {\Delta }_h^r(f,\cdot )\Vert }_{L_p(\Omega )}$$
而 ${\Delta }_h^r$ 是步长为 $h$ 的 $r$ 阶算子，

$${\Delta }_h^r(f,x):=\sum _{k=0}^r(-1{)}^{r-k}\left(\begin{array}{l}r\\ k\end{array}\right)f(x+kh).$$

逼近空间的这种取法应该怎么理解？因为 Jackson 不等式和 Bernstein 不等式是被满足的，在这个先决条件下，由一些基本的理论，我们知道逼近空间可以取为插值空间，插值空间里面的 K 泛函换成跟其等价的 r 阶光滑模量，就得到逼近空间其实就是 Besov 空间。

多分辨分析和小波分解

上述定义的 ${\mathcal{S}}_k$ 如果有包含关系，即 ${\mathcal{S}}_k\subset {\mathcal{S}}_{k+1}$，那么，本质上 ${\mathcal{S}}_k$ 就构成了一个多分辨分析。对于尺度函数，我们定义它的对偶为，
$${\int }_{\mathbb{R}}\phi (x-j)\tilde{\phi }(x-k)\mathrm{d}x={\delta }_{jk}$$
则 $\phi$ 可以写成 ${\mathcal{S}}_1$ 空间中的基的线性组合，
$$\phi (x)=\sum _{k\in \mathbb{Z}}{c}_k\phi (2x-k)$$
因为 $\phi$ 是紧支的，这意味着只有有限个 $c_k$ 不为零。这个系数一般就称为低通滤波器系数。类似地，我们也可以定义出 ${\tilde{C}}_k$。

定义投影算子，
$$Pf:=\sum _{j\in \mathbb{Z}}⟨f,\tilde{\phi }(\cdot -j)⟩\phi (\cdot -j)$$
注意到这里的系数是和对偶做内积。

类似于多分辨分析中我们介绍得小波的构造，我们可以构造出小波如下，
$$\psi (x)=\sum _{k\in \mathbb{Z}}{d}_k\tilde{\phi }(2x-k),d_k:=(-1{)}^k{\tilde{c}}_{1-k}.$$

它的平移构成的空间，我们记为 $W$，那么，函数 $f$ 到 $W$ 上的投影就是，
$$Qf=\sum _{j\in \mathbb{Z}}⟨f,\tilde{\psi }(\cdot -j)⟩\psi (\cdot -j)$$

那么，我们可以直接写出函数的小波分解，
$$f=\sum _{k\in \mathbb{Z}}\sum _{j\in \mathbb{Z}}{2}^k⟨f,\tilde{\psi }\left(2^k\cdot -j\right)⟩\psi \left(2^k\cdot -j\right)$$

我们现在考虑多维自变量的情况，对于每个定义在 ${\mathbb{R}}^d$ 上的函数 $\eta$，定义符号，
$${\eta }_I(x):=|I{|}^{-1/2}\eta \left(2^k\cdot -j\right)$$
这里的 $|I|$ 表征的是单位立方体变成的体积，本质上体现了函数积分压缩到了原来的几分之几。即 $I=2^{-k}(j+\Omega )$ 其中 $\Omega :=[0,1{]}^d$。

那么原来的小波分解就可以写为，
$$f=\sum _{I\in D}{c}_I(f){\psi }_I,c_I(f):=⟨f,{\psi }_I⟩$$
其中 ${\psi }_I$ 表示的是 $I$ 所代表的小波母函数的伸缩平移。它构成了 $L_2(\mathbb{R})$ 空间的一组标准正交基。

那么多维的小波如何构造呢？一个简单的方法是可以通过一维的小波进行构造。令 ${\psi }^0:=\phi ,{\psi }^1:=\psi$，$e=\left(e_1,\dots ,e_d\right)$ 是一个非零的，每个位置上只取 0 和 1 的向量。

$${\psi }^e\left(x_1,\dots ,x_d\right):={\psi }^{e_1}\left(x_1\right)\cdots {\psi }^{e_d}\left(x_d\right)$$

那么，同样用 $D$ 来表示所有伸缩和平移，那么，
{ ψ I e , I ∈ D , e ∈ E } \left\{\psi_{I}^{e}, \quad I \in D, e \in E\right\} {ψIe​,I∈D,e∈E}
构成了 $L_2\left({\mathbb{R}}^d\right)$ 空间的一组标准正交基。这里的 $E$ 表示不含零元素的零幺二进向量。