（LXTML笔记）Radial Basis Function Network

Radial Basis Function Network 即RBF网络，这个名字平常并不常见，不过其中推导过程中的思想是很有学习价值的。

我们称上图中的$h(x)$即为RBFnetwork，之所以称之为网络是因为其实它可以看做是上右（红色）所示的“网络”。

对应于SVM的结果，是

考虑一个full RBF network，即让所有的$\mu$取遍所有的$x_m$，如果是SVM的话，那么可以通过只取所有的support vector才化简，但是这里该怎么处理呢？

我们可以如图所示考虑$z_n$，那么问题将化为线性回归问题，我们立马得到$\beta$的解析式，注意到此时我们又一个结论，如果是对于Gaussian RBF的话，只要$x_n$均不同，那么度量矩阵$Z$是可逆的，于是立马就得到了$\beta=Z^{-1}y$，此时我们可以得到一个不太好的结论，即$E_{in}=0$（过拟合既视感）。

我们想办法像SVM那样减少RBF的中心点$\mu$的数量，如果$x_1$和$x_2$很近的话，我们可以用同一个$\mu$来代表它们，实际上就是将全体$x_n$划分为$k$个等价类，然后每个等价类中选取一个代表出来

假设已经固定好等价类了，那么对$\mu$求偏导有

此时我们知道，更新后的$\mu$应该是

$$\mu_m=|S_m|/\sum_{x_n \in S_m}x_n,$$
即等价类 $S_m$的均值，这和k-means很像，即利用k-means对 $x_n$划分等价类

k-means一定会迭代停止的，这是因为$E_{in}$一直在下降，然而$E_{in}$有下界。最后总结一下RBF network。