RBF 核函数:
直觉上来看,RBF 核函数的参数
(gamma)定义了单个样本的影响波及范围,gamma 比较小的话,其影响较小;gamma 比较大的话,影响范围较大。
刘建平老师的表达更为精妙:主要定义了单个样本对整个分类超平面的影响,当 比较小时,单个样本对整个分类超平面的影响比较小,不容易被选择为支持向量,反之,当 比较大时,单个样本对整个分类超平面的影响比较大,更容易被选择为支持向量,或者说整个模型的支持向量也会多。scikit-learn中默认值是1/样本特征数。
从物理的角度也可以进一步理解:
在效果上等同于
,
较大时,相当于下面正态分布中的
较小,此时样本分布较为集中,呈现出高瘦的曲线,一个样本对其周围的样本影响自然也就更大了。反之亦可推导出来。
不管是 SVC(分类)还是 SVR(回归),参数 C 都是为了在模型准确率与模型复杂度之间取得一个平衡。SVC 和 SVR 的优化目标见下面。SVC 优化