听了个听儿

Hey,少年,慢慢来

SVM核函数理解

核函数参数的理解,不知道对不对。。。

SVM的决策函数可以理解为只依赖于输入和样本内积的一种映射,也正是这种内积计算使得SVM可以利用核技巧解决线性不可分的情况。核技巧的想法是,在学习和预测中只定义核函数,而不显示的定义映射函数。映射函数将输入空间映射到特征空间,而特征空间一般是高维的,甚至是无穷维的。

今天说两个事儿:高斯径项基核函数为什么可以映射到无穷维,以及,高斯径项基核函数里面的参数对模型有什么影响

1. 无穷维的特征空间:

一句话概括就是利用了泰勒展开。下面以二维空间为例:(图中核函数笔误:分母应该为平方项


2. 高斯核函数里面的参数对模型的影响


越小,对应的高斯函数形状越尖,越容易过拟合。可以考虑极限情况,特别特别特别小,此时,Klim(x, x') = [x = x'], 即当x=x'时,K(x, x') = 1, 当x != x'时,K(x, x') = 0,此时的高斯函数像一个脉冲函数,每一个x都是在判断新样本是不是和自己一样,所以就过拟合了!

此外,线性支持向量机引入了松弛变量和对应的惩罚参数C。C越大,对误分类惩罚越大,支持向量个数越多,模型越复杂。


阅读更多
上一篇统计文件出现最多的10个词
下一篇ML数学知识琐碎
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭