rbf神经网络的实现

RBF神经网络的实现

rbf神经网络只有一个隐含层，但是隐含层和输入层之间不再是有对应权值的线性组合，而是采用径向基函数，这里的径向基函数采用的是高斯函数，
∅=e^(-〖norm(xp-ci)〗^2/(2σ^2 ))
采用k均值方法确定m个隐层神经元的中心，具体做法是先初始化m个隐层神经元的中心为随机m个输入，并对每一个输入进行聚类，方法是找到m个隐层神经元对应的中心中最近的作为自己的类别，当输入数据全部归类后将每一类的均值作为新的中心再次进行迭代，当前后两次迭代的中心不再变化时算法停止跳出循环，此时m个中心点已经确定。
第二步是确定高斯函数的偏移项，确定的方法是取m个中心点的最大距离dmax,则偏移项可由下述公式得到
σ=dmax/√2m
其中所有的神经元采用相同的偏移项。
第三步,隐层的输出确定了之后则需要确定隐层到输出层的系数权值，由于最终输出是隐层输出的线性组合，则由训练集的结果对训练集进行最小二乘估计即可确定这几个权值。
设d为训练集合的结果，对于给定的data是一个1*2500的行向量，对其进行转置后的结果为d
并设W为隐层神经元对应输出的权值向量(由于只有一个输出，所以向量即可不需要矩阵),并设phi为2500*m的矩阵保存着2500组数据的隐层输出，则最小二乘估计W有公式
W=〖(X^T X)〗^(-1) X^T d