SVM支持向量机-核函数(6)

引言:

前边几篇文章中提到的分类数据点,我们都假设是线性可分的,即存在超平面将样本正确分类,然而现实生活中,存在许多线性不可分的情况,例如“异或”问题就不是线性可分的,看一下西瓜书上的一个"异或"的例子,对于二维数据点,[0,0],[1,1]属于0类,[0,1],[1,0]属于1类,我们就无法用一条直线超平面将样本数据分类.

                    

线性可分-常规数据

                    

线性不可分-异或问题

对于上述问题,无论如何我们都无法找到一条直线将这两类数据分开,这时一种分类方法就是将原始数据从原始空间映射到高维空间,使得样本在高维特征空间中线性可分.

                    

 二维转三维-解决线性不可分

我们通过二维→三维的转化,用一个斜切面将数据点划分,两个蓝色标记在面下面,两个红色标记在面上面,从而完成了在高维空间的数据分类.

数据映射:

令φ(x)为X映射后的特征向量,在特征空间中划分超平面的模型可以表示为:

                                                                            

类似于低维超平面寻找最优间隔,映射后的数据有:

                                                                                

                                                                

同前,转化为对偶问题:

                                                            

                                                            

核函数的引入:

上面的计算涉及到计算 φ(xi).T*φ(xj) ,这是xi,xj映射到高维空间后的内积,文章开头的数据是两维且数据量少,所以到三维就解决了问题,但现实生活中,我们遇到问题的可能包含多个属性,这时不是简单的升高一维就可以实现分类,甚至可能是无穷维,此时我们计算φ(xi).T*φ(xj)就很困难.

所以就想到有没有一个函数可以满足:

                                                                

即在低维通过k(i,j)计算特征空间的内积,省去高维计算的复杂情况,这样就简化了问题.

于是优化问题转化为:

                                                            

                                                            

和之前的对偶问题解决方式一样,通过拉格朗日乘子引入与求导化简,这里我们可以得到:

                                                                

                                                                        

                                                                        

这里的k(xi,x)就是核函数(Kernel Function),上式显示模型的最优间隔可以通过训练样本核函数展开,所以这个式子也称为支持向量展式.

核函数的条件:

上面是我们在想有这样一个核函数,但是问题也随之而来,φ(xi)的具体形式是怎么样,即合适的核函数是什么样子的,西瓜书上有这个定理:

令X为输入空间,k(·,·)为X*X上的对称函数,K是核函数当且仅当对于任意数据D={x1,x2,x3...,xm},核矩阵K总是半正定的.

                                                                    

Tips:半正定(广义):A是n阶方阵,对于任何非零向量X,都有X.T*A*X≥0,则称矩阵A是半正定的.

定理表示,只要一个对称函数所对应的核矩阵半正定,它就能作为核函数使用. 而对于一个半正定矩阵而言,总能找到一个与之对应的 φ(·) ,从而任何一个核函数都隐式的定义了一个“再生希尔伯特空间”的特征空间.

核函数的选择:

我们希望样本在特征空间中线性可分,因此特征空间的好坏对支持向量机的性能至关重要,但是在不知道特征映射的情况下,我们是不知道什么样的核函数是适合的,而核函数也只是隐式的定义了特征空间,所以,核函数的选择对于一个支持向量机而言就显得至关重要,若选择了一个不合适的核函数,则数据将映射到不合适的样本空间,从而支持向量机的性能将大大折扣.

下面介绍几个常用的核函数,在调参的时候,我们可以使用不同的核函数,看看哪个核函数是最适合样本数据的:

  线性核(linear):

                                                                     

多项式核(poly):

                                                                    

高斯核(rbf):

                                                                    

拉普拉斯核(laplace):

                                                                    

Sigmoid核(sigmoid):

                                                                    

核函数python编码:

上面介绍了几种常见的核函数,针对一般的二维数据点分类,lin线性核就能够完成任务,而比较复杂的二维数据点或者更高维的数据点,则需要我们尝试不同的核函数,一般来说,可以先使用rbf高斯核来试验.这里我们给出几中核函数的转换代码,之后我们就可以在给定的数据上用这些核函数完成特征映射,从而让支持向量机发挥更好的性能:

def kernelTrans(X, A, kTup): #通过数据计算转换后的核函数
    m,n = shape(X)
    K = mat(zeros((m,1)))
    if kTup[0]=='lin': #线性核函数
        K = X * A.T   
    
    elif kTup[0]=='rbf':#高斯核
        for j in range(m):
            deltaRow = X[j,:] - A
            K[j] = deltaRow*deltaRow.T
        K = exp(K/(-1*kTup[1]**2)) 

    elif kTup[0] == 'laplace':#拉普拉斯核
        for j in range(m):
            deltaRow = X[j,:] - A
            K[j] = deltaRow*deltaRow.T
            K[j] = sqrt(K[j])
        K = exp(-K/kTup[1])     

    elif kTup[0] == 'poly':#多项式核
        K = X * A.T
        for j in range(m):
            K[j] = K[j]**kTup[1]
        
    elif kTup[0] == 'sigmoid':#Sigmoid核
        K = X * A.T
        for j in range(m):
            K[j] = tanh(kTup[1]*K[j]+kTup[2])
        
    else: raise NameError('Houston We Have a Problem -- \
    That Kernel is not recognized')
    return K

总结:

这里对核函数进行了简单的介绍,它在数据转换,特征映射中能大显身手,但其中也存在许多黑箱,很多时候映射的具体形式,映射的高维空间我们都无法知悉,这里只是显式的使用它,而许多隐式的东西还需更多的探索.最后的核函数转换函数将在下一篇用核函数分类的支持向量机中体现价值.

  • 12
    点赞
  • 50
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
支持向量机SVM)是一种常用的机器学习算法,它可以用于分类和回归问题。SVM通过在特征空间中找到一个最优的超平面来进行分类或回归。在SVM中,核函数是一种重要的技术,它可以将数据从原始特征空间映射到一个更高维度的特征空间,从而使得数据在新的特征空间中更容易被线性分割。 常用的核函数有以下几种: 1. 线性核函数(Linear Kernel):线性核函数是最简单的核函数,它将数据映射到原始特征空间,不进行任何变换。线性核函数适用于线性可分的数据集。 2. 多项式核函数(Polynomial Kernel):多项式核函数将数据映射到一个高维的特征空间,并使用多项式函数来计算数据之间的相似度。多项式核函数适用于非线性可分的数据集。 3. 高斯核函数(Gaussian Kernel):高斯核函数也称为径向基函数(Radial Basis Function,RBF),它将数据映射到一个无限维的特征空间,并使用高斯函数来计算数据之间的相似度。高斯核函数适用于非线性可分的数据集。 4. Sigmoid核函数(Sigmoid Kernel):Sigmoid核函数将数据映射到一个无限维的特征空间,并使用Sigmoid函数来计算数据之间的相似度。Sigmoid核函数适用于非线性可分的数据集。 以上是常用的核函数,不同的核函数适用于不同类型的数据集。在实际应用中,选择合适的核函数是非常重要的,它会影响到SVM的分类或回归性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BIT_666

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值