Radial Basis Function Network 即RBF网络,这个名字平常并不常见,不过其中推导过程中的思想是很有学习价值的。
我们称上图中的 h(x) h ( x ) 即为RBFnetwork,之所以称之为网络是因为其实它可以看做是上右(红色)所示的“网络”。
对应于SVM的结果,是
考虑一个full RBF network,即让所有的
μ
μ
取遍所有的
xm
x
m
,如果是SVM的话,那么可以通过只取所有的support vector才化简,但是这里该怎么处理呢?
我们可以如图所示考虑
zn
z
n
,那么问题将化为线性回归问题,我们立马得到
β
β
的解析式,注意到此时我们又一个结论,如果是对于Gaussian RBF的话,只要
xn
x
n
均不同,那么度量矩阵
Z
Z
是可逆的,于是立马就得到了,此时我们可以得到一个不太好的结论,即
Ein=0
E
i
n
=
0
(过拟合既视感)。
我们想办法像SVM那样减少RBF的中心点 μ μ 的数量,如果 x1 x 1 和 x2 x 2 很近的话,我们可以用同一个 μ μ 来代表它们,实际上就是将全体 xn x n 划分为 k k 个等价类,然后每个等价类中选取一个代表出来
假设已经固定好等价类了,那么对求偏导有
此时我们知道,更新后的
μ
μ
应该是
即等价类 Sm S m 的均值,这和k-means很像,即利用k-means对 xn x n 划分等价类
k-means一定会迭代停止的,这是因为
Ein
E
i
n
一直在下降,然而
Ein
E
i
n
有下界。最后总结一下RBF network。