【小记】高斯核函数

高斯核函数

高斯核函数 (Gaussian kernel),也称 径向基 (RBF) 函数,用于 将有限维数据映射到高维空间。通常定义为空间中任意一点 x x x 到某一中心点 x ′ x' x 之间的欧式距离的单调函数。

高斯核函数定义:
k ( x , x ′ ) = e − ∣ ∣ x − x ′ ∣ ∣ 2 2 σ 2 k(x,x') = e^{- \frac{||x-x'||^2}{2\sigma ^2}} k(x,x)=e2σ2xx2
x ′ x' x 为核函数中心, ∣ ∣ x − x ′ ∣ ∣ 2 ||x-x'||^2 xx2 为向量 x x x 和向量 x ′ x' x 的欧式距离(L2范数),随着两个向量的距离增大,高斯核函数值单调递减。

σ \sigma σ 控制高斯核函数的作用范围,其值越大,高斯核函数的局部影响范围就越大。

σ \sigma σ 不要选太小,否则在分类任务中容易过拟合。

思考

从高斯核函数的定义中可以看出,参数 σ \sigma σ 的选择很关键。

  1. σ \sigma σ 比较大时,取个倒数就变成了很小的一个系数,此时向量 x x x x ′ x' x 之间距离的变化对指数整体数值的影响就会变小,此时 k ( x , x ′ ) k(x,x') k(x,x) 的变化也会比较 “平滑”。

  2. 同理,当 σ \sigma σ 比较小时,让向量 x x x x ′ x' x 之间距离的变化对指数整体数值的影响变大了,此时 k ( x , x ′ ) k(x,x') k(x,x) 的变化会变得比较 “尖锐”。

这其实和高中就学过的正态分布联系起来了, σ \sigma σ 越大曲线就越 “胖”, σ \sigma σ 越小曲线就越 “瘦”。

在分类任务中,如果取 s i g m a sigma sigma 过小,那么高斯核函数对两点之间的距离就会很敏感,容易过拟合。

在训练分割网络生成 heatmap 时,也会用到高斯核函数。

高斯核的具体实现

def RBF(x, L, sigma):
    '''
    x: 待分类的点的坐标 
    x': 中心点,通过计算x到x'的距离的和来判断类别
    sigma:有效半径
    '''
    return np.exp(-(np.sum((x - x') ** 2)) / (2 * sigma**2)) 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不吃饭就会放大招

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值