SVM实践

核函数

二阶全映射





采用多项式核函数









采用高斯核函数：
求得是两个样本x与y之间的相似度。当两个维度相同，相似度为1，即最高。当不同时，相似度反正是个0-1的数。无穷远时，相似度为0。所以就可以看成以当前xi为中心的高斯核函数。







如在3维空间中的超平面，在2维空间中就是曲线，如在100维中的超平面，在50维中可能就是某一种曲面了。所以将维度提升后，有可能用超平面将数据分开了。所以特征维度上去了，即最终可以使得数据分开来了。


可以计算上下的样本距离新的空间中的分隔超平面最近点的距离，使得他最远。所以还是在高维空间中运用SVM，只不过在低维空间中加了一个核函数而已，被选择的核函数可以是多项式，或者高斯核函数。

核函数本质

就是使得原始数据是n维的，映射成某一个新的维度。

问题解答:

1、

2、 任何一个二分类数据集，只要是经过合适调参，总是可以在训练集上用高斯核函数都是可以分开的。
3、


权值w1 w2 wN等是稀疏的。




满足半正定性，才可以作为核函数

实践部分

混淆矩阵，召回率即在实际为正例的总数下，而又预测为正的概率。

实例1

实例2

实例3

实例4

造了990个正例的数据

实例5

调参数用交叉验证来调节。