《机器学习技法》第14课笔记 径向基函数

课程来源：林轩田《机器学习技法》

课程地址：https://www.bilibili.com/video/av12469267/?p=1

1. radial basis function其实由两部分组成

1）radial：径向，即只跟x和x'的距离有关

2）basis function：多个基础方程的线性组合

2. RBF与NN：RBF分成两层，第一层求x到中心点们的距离，第二层进行投票

3. RBF主要求解的就是中心点和投票权重

4. RBF和Kernel都是一种相似性的度量，相似性是一种很好的定义特征转换的方法

1）kernel：两个向量转换到z空间，通过内积的方式表示相似性

2）RBF：直接在x空间中的距离来算相似性

5. Full RBF

1）将所有点都视为中心点

2）物理含义是每个点都会对其它点产生影响，每个点都可以投票提出意见

3）偷懒的方法

6. KNN

1）高斯函数衰减很快，往往最近的几个点就掌控全局

2）所以干脆只考虑最近的几个点的意见好了

3）偷懒的方法，连训练都不用；但是测试的时候就要花很多力气了

7. 对Full RBF的训练

1）zn表示xn到每个点的RBF

2）即βzn=y，然后可以转化成下面的等式

3）理论上证明，如果所有xn都不一样，那么zn是可逆的N*N矩阵对称矩阵。那么Zt=Z，（ZtZ）(-1)Zt =Z-1*Z-1*Z=Z-1

8. 优化思路：找到一些代表性的中心点，比如可以用kmeans找

9. Full RBF、kmeans+RBF、KNN