机器学习技法 Lecture14: Radial Basis Function Network

RBF Network Hypothesis

回顾使用高斯核函数的SVM算法：

高斯核函数也叫作径向基函数。径向是指其只依赖于与某个中心点的距离。基函数是指它是用来作为组合的基础。因此使用高斯核的SVM算法可以看成是挑选出的径向基函数的线性组合：

径向基函数的线性组合也叫作RBF网络，因为它与神经网络有一定的相似之处，只要把神经元对应的函数换掉即可：

所以历史上RBF网络也是神经网络的一种。

RBF网络假设有两个核心的变量，中心点和权重。假如把使用了高斯核的SVM看成是RBF网络，那么每个部分都能对应上相应的参数：

因此对于RBF网络的学习就是相当于学习中心点与权重的过程。

RBF与相似性有一定的关系。RBF相当于是在原本的X空间内直接计算不同点之间的相似性，一般是相对于距离单调非增的。而SVM的核函数也是计算相似性的，不过是在Z空间使用内积来计算。它们的重合就是高斯核的SVM函数。除此之外还有其他计算相似性的方式：

在RBF网络中把到中心点的距离相似性作为一个特征转换。

RBF Network Learning

假如一个RBF网络利用了所有的样本作为中心点，那么就叫做full RBF network。这样做的物理意义在于，每个样本点都能够通过系数$\beta$不同地影响结果。

这样做是决定中心点的偷懒的方式。假如假设每个样本点对于结果的影响是相同的，那么就可以直接得到对应的结果：

不过由于exponential函数的特殊性，最接近x的样本点可能会决定最后的结果。因此可以选择最接近x的样本计算出来的结果作为最终结果，或者是选取k个最接近的样本点计算的结果之和作为结果：

对于full RBF network，如果不是假设每个样本点的系数都为1，那么就要计算对应的系数$\beta$，这实际上就是一个线性回归的问题，只不过利用径向基函数做了一次特征转换。可以直接写出结果：

而且如果每个样本点都不同，那么Z是可逆的，最终结果简化为：

得到这样的系数之后，我们看训练集中的结果代入函数之后得到的结果：

发现在训练集中能够得到与标签完全一致的结果，也就是$E_{in}$为0。但是这样会导致过拟合，因此需要加入正则项，也就是利用ridge regression的结果：

最终得到的系数与kernel ridge regression的结果有所不同，这是因为RBF network算法的正则项是加在X空间中的，但是kernel ridge regression的正则项是在变化后的Z空间的。

除了假如对系数的惩罚项，还可以选择利用更少的中心点来做到正则。可以回忆SVM中只需要计算对应支撑向量即可。这个想法也可以用在RBF网络中：

而每一个中心点都代表着一个固定的范式。

k-Means Algorithm

一般来说，假如两个样本点$x_1\approx x_2$，那么在RBFnetwork里就不需要重复计算这两个点的结果，于是就将它们归为一类：

我们希望能够利用某些范式，将比较接近的x都划分到同一个不互相重叠的集合中，然后选取这些集合中的一个点来近似代表这个集合中所有的点：

最终我们希望利用这些集合中选取的中心点来计算得到最少的$E_{in}$。对于这个最优化问题，解决起来比较困难，因为这是一个组合数值优化的问题，不过可以将两个部分的变量交替进行优化来进行优化：

因此可以先固定每个集合的中心点$\mu$然后求解最优的集合分类：

此时每个样本点x都被分配到距离最近的中心点$\mu$对应的集合S之中。之后可以在固定集合分类，然后再计算最有的中心点$\mu$:

这样交替下去直到收敛为止。这个算法就叫做k-means算法：

这个算法是保证收敛的。因为每个操作都会减小$E_{in}$，而最小的$E_{in}$就是0，因此肯定最终会收敛。收敛的时候分类集合S以及中心点$\mu$都不在变化。使用了k-means算法来选择中心点的RBF网络训练流程如下：

k-Means and RBF Network in Action

在实际的应用中，k-means算法对于制定的类别数k以及初始中心点的设定是非常敏感的，可能会得到很不一样的结果：

使用k-means的RBF网络能够在计算量合理的情况下得到一个较好的结果：

但是由于计算量的问题，full RBF network以及k近邻形式的算法不太实用：