1、SVM就是个MLP(多层神经网络)
2、RBF径向基核函数在SVM发明的7年前就已经被用于RBF神经网络,RBF网络本质就是个把激活函数从Sigmoid替换成RBF的MLP。
RBF的结构:
径向基函数(Radical Basis Function,RBF)方法是Powell在1985年提出的。
详细看这篇:
http://blog.csdn.net/zouxy09/article/details/13297881
这是一个单调函数,x与c越大,h(x)就越小。上图是“高斯径向基函数”。
在解决多变量插值的问题时,左图是样本点。中间那个图中绿色虚线对应的,就表示的是每个训练样本对应一个高斯函数(高斯函数中心就是样本点)。右图,设真实的拟合这些训练数据的曲线是蓝色的那根。如果我们有一个新的数据x1,我们想知道它对应的f(x1)是多少,也就是a点的纵坐标是多少。那么由图可以看到,a点的纵坐标等于b点的纵坐标加上c点的纵坐标。而b的纵坐标是第一个样本点的高斯函数的值乘以一个大点权值得到的,c的纵坐标是第二个样本点的高斯函数的值乘以另一个小点的权值得到。而其他样本点的权值全是0,因为我们要插值的点x1在第一和第二个样本点之间,远离其他的样本点,那么插值影响最大的就是离得近的点,离的远的就没什么贡献了。所以x1点的函数值由附近的b和c两个点就可以确定了。拓展到任意的新的x,这些红色的高斯函数乘以一个权值后再在对应的x地方加起来,就可以完美的拟合真实的函数曲线了。
径向基网络