RBF神经网络

核函数一般有如下函数
高斯函数

$$\phi(u)=e^{-\frac{u^2}{\delta^2}}\\$$
反射Sigmoid函数
$$\phi(u)=\frac{1}{1+e^{\frac{u^2}{\delta^2}}}$$
逆多二次函数
$$\phi(u)=\frac{1}{(u^2+\delta^2)^{\frac{1}{2}}}$$
其中， $\delta>0$为基函数的拓展常数或宽度。

---

RBF（径向基函数神经网络）网络结构图如下

对于输入$\mathbf{x}=(x_1,x_2,\cdots,x_n)^T$，$\mathbf{c_1,c_2,\cdots,c_m}$为样本中心，$\mathbf{w}=(w_1,w_2,\cdots,w_{m\times h})$为输出权重。则其第$y_i$个输出为

$$y_i=\sum_{i=1}^hw_{ij}\phi(||\mathbf{x}-\mathbf{c_i}||),\ \ 1\leq j\leq m$$

---

原理

1. 内插问题
   假设有$n$个训练数据，输入为$\mathbf{x_i},1\leq i \leq n$，输出为$y_i,1\leq i \leq n$，则问题为求函数$F$，使$y=F(\mathbf{x})$。
   训练：
   做插值问题时，可将$n$个训练数据作为样本中心，则问题只需要求$\mathbf{w}=(w_1,w_2,\cdots,w_n)$。 假设当输入为$\mathbf{x_i},i=1,2,\cdots,N$，则第$j$个输出为
   $$h_{ij}=\phi_j(||\mathbf{x}_i-\mathbf{c}_j||)$$
   其中，$\phi_j$为该隐含层节点的激活函数，$\mathbf{c_j}=\mathbf{x_j}$为隐含层样本中心，用$\mathbf{H}$表示$[h_{ij}]$，则RBF网络输出为
   $$y_i=F(\mathbf{x_i})=\sum_{j=1}^Nh_{ij}w_j=\sum_{j=1}^N\phi_j(||\mathbf{x_i}-\mathbf{c_j}||)$$
   令$y_i=F(\mathbf{x_i})$，$\mathbf{y}=\mathbf{t}^T=(y_1,y_2,\cdots,y_N)^T$,$\mathbf{w}=(w_1,w_2,\cdots,w_N)^T$，则有
   $$\mathbf{y}=\mathbf{Hw}$$
   一般情况下，使用$N$个样本进行训练，此时$\mathbf{w}$也为$N$元，此时$\mathbf{H}$可逆，则可以求解$\mathbf{w}$
   $$\mathbf{w}=\mathbf{H}^{-1}\mathbf{y}$$

存在问题： 容易出现过拟合

---

正则化网络

假定$S=\{ (\mathbf{x_i},y_i)\in \mathbf{R}^N\times \mathbf{R} |i=1,2,\cdots,N\}$为训练数据，若通过均方误差最小化目标函数，其目标函数为

$$E_S(F)=\frac{1}{2}\sum_{i=1}^N(y_i-F(\mathbf{x}_i))^2$$
添加正则化项，
$$E_R(F)=\frac{1}{2}||DF||^2$$
则添加了正则化项的误差函数为
$$E(F)=E_S(F)+\lambda E_R(F)$$
通过求解上述误差函数的最小值，即
$$\min E(F)=E_S(F)+\lambda E_R(F)=\frac{1}{2}\sum_{i=1}^N(y_i-F(\mathbf{x}_i))^2+\frac{1}{2}||DF||^2$$
求解上面式子，可以得
$$F(\mathbf{x})=\sum_{i=1}^Nw_iG(\mathbf{x},\mathbf{x_i})\\ \mathbf{W}=(G+\lambda I)^{-1}y$$
$G(\mathbf{x},\mathbf{x_i})$为Green函数， $\mathbf{G}$为Green矩阵，Green函数为算子 $D$的形式有关。当$D$具有旋转不变性和平移
不变性， $G(\mathbf{x},\mathbf{x_i})=G(| |\mathbf{x}-\mathbf{x_i}||)$。其中，一个典型的Green函数为
$$G(\mathbf{x},\mathbf{x_i})=\exp(-\frac{1}{2\sigma^2}||\mathbf{x}-\mathbf{x_i}|^2|)$$

---

可通过K-means聚类确定样本中心。若给定有$k$个样本中心，则可随机取$k$个样本作为初始聚类中心，通过迭代求出 k <script type="math/tex" id="MathJax-Element-7671">k</script>个样本中心。

---

[1]田玉波，混合神经网络技术，科学出版社，2009年6月
[2]http://blog.sina.com.cn/s/blog_3eca118b0102vt9n.html