【机器学习】RBF神经网络原理与Python实现

一、RBF神经网络原理

1. RBF神经网络结构与RBF神经元

RBF神经网络的结构图如上图所示，其结构与简单的BP神经网络相同都是三层网络结构：输入层、隐含层和输出层。不同的是，RBF神经网络的隐含层节点的激活函数为径向基（RBF）函数。
假设训练数据集为$X=\left\{x^1,x^2,\cdots ,x^m\right\}$，其中第i个训练样本为$x^i=\left\{x_1^i,x_2^i,\cdots ,x_n^i\right\}$，也就是说样本数为m，特征数为n，所以输入层的节点个数为n。假设隐含层节点个数为s，第i个训练样本$x^i$从隐含层的第j个节点（$j=1,2,\cdots ,s$）的输出为：

$G\left(x^i,c^j\right)=\exp \left(-\frac{1}{2{\left({\sigma }^j\right)}^2}\Vert x^i-c^j\Vert \right)$

其中$c^j$和${\sigma }^j$分别是RBF神经网络第j个隐含层RBF激活函数的中心参数和宽度参数【参考资料1】。
隐含层输出通过权重矩阵映射到输出层的输入，本博文中输出层节点的激励函数为线性函数（$y=x$）。

RBF神经网络的数据流向为：训练样本—RBF隐含层—权重矩阵—输出层

2. RBF神经网络求解

RBF神经网络是BP神经网络的特殊形式，因此求解过程也与BP神经网络相同，分为两个部分：正向传播计算误差和反向传播调整参数。

2.1 正向传播：计算误差

对于样本$x^i$，RBF神经网络的输出为$y^i$：

${\hat{y}}^i=\sum _{j=1}^s{w}_{j}G\left(x^i,c^j\right)$

样本标签为$\left\{y^1,y^2,\cdots ,y^m\right\}$，RBF神经网络的损失函数为:

L o s s = 1 2 ∑ i = 1 m e i 2 = 1 2 ∑ i = 1 m ( y i − y ^ i ) 2 = 1 2 ∑ i = 1 m (