关闭

SVM核函数理解

821人阅读 评论(0) 收藏 举报
分类:

核函数参数的理解,不知道对不对。。。

SVM的决策函数可以理解为只依赖于输入和样本内积的一种映射,也正是这种内积计算使得SVM可以利用核技巧解决线性不可分的情况。核技巧的想法是,在学习和预测中只定义核函数,而不显示的定义映射函数。映射函数将输入空间映射到特征空间,而特征空间一般是高维的,甚至是无穷维的。

今天说两个事儿:高斯径项基核函数为什么可以映射到无穷维,以及,高斯径项基核函数里面的参数对模型有什么影响

1. 无穷维的特征空间:

一句话概括就是利用了泰勒展开。下面以二维空间为例:(图中核函数笔误:分母应该为平方项


2. 高斯核函数里面的参数对模型的影响


越小,对应的高斯函数形状越尖,越容易过拟合。可以考虑极限情况,特别特别特别小,此时,Klim(x, x') = [x = x'], 即当x=x'时,K(x, x') = 1, 当x != x'时,K(x, x') = 0,此时的高斯函数像一个脉冲函数,每一个x都是在判断新样本是不是和自己一样,所以就过拟合了!

此外,线性支持向量机引入了松弛变量和对应的惩罚参数C。C越大,对误分类惩罚越大,支持向量个数越多,模型越复杂。


1
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:40445次
    • 积分:1140
    • 等级:
    • 排名:千里之外
    • 原创:74篇
    • 转载:8篇
    • 译文:1篇
    • 评论:0条