【小记】高斯核函数

高斯核函数

高斯核函数 (Gaussian kernel)，也称 径向基 (RBF) 函数，用于 将有限维数据映射到高维空间。通常定义为空间中任意一点 $x$ 到某一中心点 $x^{\prime }$ 之间的欧式距离的单调函数。

高斯核函数定义：
$$k(x,x^{\prime })=e^{-\frac{||x-x^{\prime }|{|}^2}{2{\sigma }^2}}$$
$x^{\prime }$ 为核函数中心，$||x-x^{\prime }|{|}^2$ 为向量 $x$ 和向量 $x^{\prime }$ 的欧式距离（L2范数），随着两个向量的距离增大，高斯核函数值单调递减。

$\sigma$ 控制高斯核函数的作用范围，其值越大，高斯核函数的局部影响范围就越大。

$\sigma$ 不要选太小，否则在分类任务中容易过拟合。

思考

从高斯核函数的定义中可以看出，参数 $\sigma$ 的选择很关键。

1. 当 $\sigma$ 比较大时，取个倒数就变成了很小的一个系数，此时向量 $x$ 和 $x^{\prime }$ 之间距离的变化对指数整体数值的影响就会变小，此时 $k(x,x^{\prime })$ 的变化也会比较 “平滑”。

2. 同理，当 $\sigma$ 比较小时，让向量 $x$ 和 $x^{\prime }$ 之间距离的变化对指数整体数值的影响变大了，此时 $k(x,x^{\prime })$ 的变化会变得比较 “尖锐”。

这其实和高中就学过的正态分布联系起来了，$\sigma$ 越大曲线就越 “胖”，$\sigma$ 越小曲线就越 “瘦”。

在分类任务中，如果取 $sigma$ 过小，那么高斯核函数对两点之间的距离就会很敏感，容易过拟合。

在训练分割网络生成 heatmap 时，也会用到高斯核函数。

高斯核的具体实现

def RBF(x, L, sigma):
    '''
    x: 待分类的点的坐标 
    x': 中心点，通过计算x到x'的距离的和来判断类别
    sigma：有效半径
    '''
    return np.exp(-(np.sum((x - x') ** 2)) / (2 * sigma**2))