RBF神经网络

一、一维正态分布

$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$ 记作$X\sim N(\mu ,{\sigma }^2)$。

可以将一般正态分布转化为标准正态分布：若$X\sim N(\mu ,{\sigma }^2),Y=\frac{X-\mu }{\sigma }\sim N(0,1)$

二、径向基函数

径向基函数（Radial Basis Function，RBF）是一个取值仅取决于到原点距离的实值函数，记作$\varphi (x)=\varphi (||x||)$，也可以是到任意一中心点$c$的距离，即$\varphi (x,c)=\varphi (||x-c||)$。任何一个满足上述特性的函数都可以称为RPF。
$$\varphi (x,c)=e^{-\frac{(x-c{)}^2}{r^2}}$$


高斯函数：
$$f(x)=a{e}^{-\frac{(x-b{)}^2}{2c^2}}$$

• $a$：曲线高度
• $b$：即$\mu$，指曲线在$x$轴的中心
• $c$：即$\sigma$，指width（与半峰全框有关）
  

三、径向基函数解决插值问题

• 每个蓝色的点是一个样本
• 绿色虚线对应一个训练样本，对应一个高斯函数（高斯函数中心就是样本点）
• 蓝色实线表示真实拟合这些训练数据的曲线

（1）样本点$(x_n,y_n)\in D,n=1,2,...,N$

（2）完全内插法要求插值函数经过每个样本点，即$F(x_n)=y_n$，样本点共有$N$个

（3）RBF的方法是选择$N$个奇函数$\phi (||x-x_n||)$ $$\phi (||x-x_n||)=e^{-\frac{1}{2{\sigma }^2}||x-x_n|{|}^2}$$（4）基于径向基函数的插值函数为： $$F(x)=\sum _{n=1}^N{w}_n{\phi }_n(||x-x_n||)=w_1{\phi }_1(||x-x_1||)+w_2{\phi }_2(||x-x_2||)+...+w_n{\phi }_n(||x-x_n||)$$

四、RBF神经网络简介

RBF神经网络的结构与多层前向网络类似，是一种具有单隐层的三层前向神经网络。

• 输入层：由信号源结点组成
• 隐含层：单神经元层，但神经元数可视所描述问题的需要而定
• 输出层：对输入的作用做出响应
  从输入层到隐含层空间的变换是非线性的

从输入层空间到隐含层空间的变换是非线性的，而从隐含层空间到输出层空间的变换是线性的。隐含层神经元的变换函数是RBF，它是一种局部分布的中心径向对称衰减的非负非线性函数。

BP神经网络用于函数逼近时，权值的调节采用负梯度下降法，这种权值调节的方法存在着收敛速度慢和局部极小等局限性。同时，BP 神经网络在训练过程中需要对网络中的所有权值和阈值进行修正，属于全局逼近的神经网络。

而RBF 神经网络在逼近能力、分类能力和学习速度等方面均优于BP神经网络。另外，尽管RBF神经网络比BP 神经网络需要更多的神经元，但是它能够按时间片来优化训练网络。因此，RBF神经网络是一种局部逼近性能非常好的神经网络结构，有学者证明它能以任意精度逼近任一连续函数。

RBF人工神经网络以其独特的信息处理能力在许多领域得到了成功的应用，它不仅具继承了神经网络强大的非线性映射能力，而且具有自适应、自学习和容错性等，能够从大量的历史数据中进行聚类和学习，进而得到某些行为变化的规律。同时，RBF神经网络是一种新颖有效的前馈式神经网络，具有最佳局部逼近和全局最优的性能，且训练方法快速易行，这些优点使得RBF神经网络在非线性时间序列预测中得到了广泛的应用。

• 全局逼近： 当神经网络的一个或多个可调参数（权值和阈值）对任何一个输出都有影响，则称该神经网络为全局逼近网络
• 局部逼近：对网络输入空间的某个局部区域只有少数几个连接权值影响网络的输出，则称该网络为局部逼近网络

另外，RBF神经网络能够逼近任意的非线性函数，可以处理系统内难以解析的规律性，具有良好的泛化能力，并有很快的学习收敛速度。当有很多的训练向量时，这种网络很有效果。目前，RBF神经网络已在非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等多种场合得到了成功应用。

五、RBF神经元模型

$||dist||$为欧氏距离，用函数式可表示为： $$||dist||=||\mathbf{w}-\mathbf{x}||=\sqrt{\sum _i^R(w_{1,i}-x_i^2)=[(\mathbf{w}-{\mathbf{x}}^{\mathbf{T}})(\mathbf{w}-{\mathbf{x}}^{\mathbf{T}}{)}^T{]}^{\frac{1}{2}}}$$

净输入$n$为RBF神经元的中间运算结果$$n=||\mathbf{w}-\mathbf{x}||b$$

RBF神经元模型的输出$y$为：$$y=rbf(n)=rbf(||\mathbf{w}-\mathbf{x}||b)$$

$rbf(x)$为径向基函数，常见形式有：$$rbf(x)=e^{-(\frac{x}{\sigma }{)}^2}$$ $$rbf(x)=\frac{1}{({\sigma }^2+x^2{)}^{\alpha }},\alpha >0$$

六、RBF神经网络结构

RBF神经网络由输入层、单隐含层、输出层三层组成，如下图所示：

${\mathbf{n}}^1$为RBF神经网络隐含层的中间运算结果，$${\mathbf{n}}^1=||{\mathbf{W}}^1-\mathbf{x}||{\mathbf{b}}^1=[diag(({\mathbf{W}}^1-ones(S^1,1){\mathbf{x}}^{\mathbf{T}})({\mathbf{W}}^1-ones(S^1,1){\mathbf{x}}^{\mathbf{T}}{)}^T){]}^{\frac{1}{2}}{\mathbf{b}}^1$$
$diag(x)$表示取矩阵向量主对角线上的元素组成的列向量。

RBF神经网络隐含层的输出${\mathbf{y}}^1$为：$${\mathbf{y}}^1=rbf({\mathbf{n}}^1)$$ ${\mathbf{n}}^2$为RBF输出层的中间运算结果，表示为：$${\mathbf{n}}^2={\mathbf{W}}^2{\mathbf{y}}^1+{\mathbf{b}}^2$$ RBF神经网络的输出${\mathbf{y}}^2$为：$${\mathbf{y}}^2=purelin({\mathbf{n}}^2)$$ 隐含层节点中的径向基函数对输入信号在局部产生响应，即当输入信号靠近该函数的中央范围时，隐含层节点将产生较大的输出。因此，RBF神经网络具有局部逼近能力，RBF神经网络也被称为局部感知场网络

神经元的传递函数