SVM中的核函数



hit2015spring

欢迎关注我的博客:http://blog.csdn.NET/hit2015spring

在训练样本是线性可分的情况下,这时候直接用原始属性就能把这些特征区分开来。但是有一部分的属性就是无法在其现有属性的基础上分开,于是就要把这些属性通过 ϕ(x) 映射到一些高维的特征空间中,“横看成岭侧成峰”嘛,原始的 x 就是横看,变换函数ϕ(x)的作用就是”侧看”。这时候需要优化的目标函数就是:

minw,b12w2s.t.yi(wTϕ(xi)+b)1,i=1,2,3,,m

它的对偶问题就是:

maxαi=1mαi12i=1mj=1mαiαjyiyjϕ(xi)Tϕ(xj)s.t.i=1mαiyi=0αi0,i=1,2,,m

上面式子中涉及到了计算在新的空间里面属性的内积计算,这样就带来了计算的问题,于是就引入了核函数 k<,>

k(xi,xj)=ϕ(xi),ϕ(xj)=ϕ(xi)Tϕ(xj)

上面的式子说明了 xi xj 在特征空间的内积等于它们在原始样本空间中通过核函数计算得到。

这样就能得到下面的式子:

maxαi=1mαi12i=1mj=1mαiαjyiyjk(xi,xj)s.t.i=1mαiyi=0αi0,i=1,2,,m

求解后得到的是:

f(x)=wTϕ(x)+b=i=1mαiyik(xi,x)+b

既然核函数有这样好的性质,那我们自然要去寻找到底满足什么样的条件的函数可以作为核函数:对于输入空间, k(,) 是定义在 X×X 上的对称函数,对于任意的数据 D=x1,x2,,xm 核矩阵K总是半正定的,此时 k 是核函数。
满足两个条件:

对称函数
核矩阵半正定

核矩阵

常用核函数

福利答谢大家!

感谢您阅读本篇文章,对此特别发放一个无门槛的现金红包,打开支付宝扫码领取!
这里写图片描述

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页