BP网络和RBF网络

一、BP网络：反向传播网络

二、RBF网络：径向基函数网络（Radial Basis Function）

RBF结构上并不复杂，通常只有三层。输入层、中间层计算输入 x 矢量与样本矢量 c 欧式距离的 Radial Basis Function (RBF) 的值，输出层算它们的线性组合。其模型可以数学表示为：

和普通的三层神经网络，RBF 神经网络的区别在中间层。中间层采用 RBF Kernel 对输入作非线性变换，以便输出层训练线性分类器：

RBF kernel：

输入为2D时RBF kernel:

RBF 拥有较小的支集。针对选定的样本点，它只对样本附近的输入有反应，RBF 使样本点只被附近（圈内）的输入激活,如下图所示。

总结：

RBF网络能够逼近任意的非线性函数，可以处理系统内的难以解析的规律性，具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。

简单说明一下为什么RBF网络学习收敛得比较快。当网络的一个或多个可调参数（权值或阈值）对任何一个输出都有影响时，这样的网络称为全局逼近网络。由于对于每次输入，网络上的每一个权值都要调整，从而导致全局逼近网络的学习速度很慢。BP网络就是一个典型的例子。

如果对于输入空间的某个局部区域只有少数几个连接权值影响输出，则该网络称为局部逼近网络。常见的局部逼近网络有RBF网络、小脑模型（CMAC）网络、B样条网络等。