小波神经网络逼近能力的研究

理论

定理2.1 \quad 设$\phi (x)$是一有界小波函数,$f(x)\in L^2(R)$为定义在$R^n$中的连续函数,则对任意$ϵ>0$存在一个正整数J,使得
$||f(x)-{\sum }_k<f,{\phi }_{J,k}(x)>{\phi }_{J,k}(x)||<ϵ$
对一切$x\in R^n$成立。
\qquad 该小波神经网络的通近定理要求网络接近理想化,（有相应的理论分析，自己百度）即要求其中的隐层单元数(设为m)和隐层单元的阈值(设为k)都尽量大。而实际应用时,由于受软硬件的限制,m和k都只能为有限值,而且值越小越能节省计算时间和成本。为比本文给出対于一大类满足 Lipschitz条件的函数拟合时m和k值估计的一个逼近定理。
引理1 \quad 若f(x)满足全局Lipschitz条件$|f(z)-f(z^{\prime })|\le r_f|z-z^{\prime }{|}^a$,则有
$|W_{2^{-m}}f(x)|\le r{2}^{-ma}(2.15)$
其中0<a<1。如果相应的小波尺度函数$\phi (x)$具有n阶消失矩，即
${\int }_R|x{|}^k|\phi (x)|dx=0$
其中k为小于n的正整数。则対于a<n且a不为整数的情况,仍有(2.15)式成立。当a为整数时,上述结论对于大多数f(z)均成立.(即大部分的点满足条件。)
定理2.2 \quad 设小波尺度函数φ(x)具有标准正交性和紧支性,采用激励函数为φ(x)的小波神经拟合满足全局 Lipschitz条件的末知非线性函数f(x),则只要满足$2^{-3M/2}\le ϵ$(其中M为m的最大值)以及由φ(x)确定的不大的k值（k值不必太大，具体大小不会计算）,即可使函数f(x)满足如下局部 Lipschitz条件:
如果$|z-z^{\prime }{|}^a\ge ϵ,ϵ>0,$则存在
$|f(z)-f(z^{\prime })|\le r_f|z-z^{\prime }{|}^a$
其中,φ(x)具有n阶消失矩,且a<n,a不为整数.
（关于Lipschitz条件，百度百科的解释）

结论

\qquad 由上述定理可以得出以下结论,对任意一个给定的函数$f(x_1,\cdots ,x_n)$,和误差精度$ϵ>0$.总存一个三层小波神经网络,其隐层激励函数为小波函数$\phi (x)$,输入输出单元的激励函数均为线性函数,使得$WN{N}_f(x_1,\cdots ,x_n)$总能以给定的精度逼近给定的函数f.
\qquad 从小波分解与重建的实质可知,小波神经网络从函数的整体性质出发进行逼近,而将未知的函数的细节部分忽略掉。每增加一个隐层就相当于对函数的更细微的一个层次上的信息进行利用,逼近的效果当然也就更好。而要满足一定的逼近精度,有一定数目的神经元就足够了。因此可以用小波神经网络拟合一大类满足 Lipschitz条件的函数并达到要求的精度。

这部分的文章，详细的解释我也不会。