反馈神经网络 bp_RBF 和 BP 神经网络的比较

神经网络的结构类型很多，大致可以分为前向网络和反馈网络。在软测量中常用多层前向网络，其中最常用的两种是BP神经网络和RBF神经网络，另外还有基于这两种网络的多种改进模型。传统的BP网络算法采用基于误差反向传播的梯度算法，充分利用了多层前向网络的结构优势，在正反向传播过程中每一层的计算都是并行的，算法在理论上比较成熟，且已有许多商用软件可供使用；而RBF网络利用了差值法的研究成果，采用了前馈的结构，二者都是对真实神经网络不同方面的近似，各有其优缺点。

在理论上，RBF网络和BP网络一样能以任意精度逼近任何非线性函数。但由于它们使用的激励函数不同，其逼近性能也不相同。Poggio 和Girosi 已经证明，RBF网络是连续函数的最佳逼近，而BP网络不是。BP网络使用的Sigmoid 函数具有全局特性，它在输入值的很大范围内每个节点都对输出值产生影响，并且激励函数在输入值的很大范围内相互重叠，因而相互影响，因此BP网络训练过程很长。此外，由于BP算法的固有特性，BP网络容易陷入局部极小的问题不可能从根本上避免，并且BP网络隐层节点数目的确定依赖于经验和试凑，很难得到最优网络。采用局部激励函数的RBF网络在很大程度上克服了上述缺点，RBF不仅有良好的泛化能力，而且对于每个输入值，只有很少几个节点具有非零激励值，因此只需很少部分节点及权值改变。学习速度可以比通常的BP算法提高上千倍，容易适应新数据，其隐层节点的数目也在训练过程中确定，并且其收敛性也较BP网络易于保证，因此可以得到最优解。