机器学习实战之支持向量机（SVM）（五）在复杂数据上应用核函数

转载请注明作者和出处：https://blog.csdn.net/weixin_45814668
知乎：https://www.zhihu.com/people/qiongjian0427
Git：https://github.com/qiongjian/Machine-learning/
运行环境：anaconda—jupyter notebook
Python版本： Python3.x

更多精彩内容，尽在微信公众号，欢迎您的关注：

利用核函数将数据映射到高维空间

如上图所示，数据点处于一个圆中，人类的大脑能够意识到这一点，而对于分类器而言，它只能识别分类器的结果是大于0还是小于0。如果只在x和y轴构成的坐标系中插入直线进行分类的话，我们并不会得到理想的结果。我们或许可以对圆中的数据进行某种形式的转换，从而得到某些新的变量来表示数据。

将数据从一个特征空间转换到另一个特征空间，在新空间下，我们可以很容易利用已有的工具对数据进行处理，这个过程叫做从一个特征空间到另一个特征空间的映射。通常情况下，映射会将低维特征空间映射到高维特征空间。

这种从某个特征空间到另一个特征空间的映射是通过核函数来实现的。我们可以把核函数想象成一个包装器（wrapper）或者是接口（interface）,它能把数据从某个很难处理的形式转换成为另一个较容易的处理的形式。

SVM优化中一个特别好的地方就是，所有的运算都可以写成内积（inner product，也称点积）的形式。向量的内积使之两个向量相乘，之后得到单个标量或者数值。我们可以把内积运算替换成核函数，而不必做简化处理。将内积替换成核函数的方式被称为核技巧（kernel trick）或者核“变电”（kernel substation）。

径向基核函数

径向基函数是SVM中常用的一个核函数。径向基函数是一个采用向量作为自变量的函数，能够基于向量距离运算输出一个标量。这个距离可以使从<0,0>向量或者其他向量开始计算的距离。

径向基函数的高斯版本的具体公式为：
σ 是用户定义的用于确定到达率或者说函数值跌落到0的速度参数。

核转换函数

import matplotlib.pyplot as plt
import numpy as np
import random

def kernelTrans(X, A, kTup): 
    m,n = np.shape(X)
    K = np.mat(np.zeros((m,1)))
    if kTup[0]=='lin': K = X * A.T   
    elif kTup[0]=='rbf':
        for j in range(m):
            deltaRow = X[j,:] - A
            K[j] = deltaRow*deltaRow.T
        K =np.exp(K/(-1*kTup[1]**2)) 
    else: raise NameError('Houston We Have a Problem -- That Kernel is not recognized')
    return K


class optStruct:
    def __init__(self,dataMatIn, classLabels, C, toler, kTup): 
        self.X = dataMatIn
        self.labelMat = classLabels
        self.C = C
        self.tol = toler
        self.m = np.shape(dataMatIn)[0]
        self.alphas = np.mat(np.zeros((self.m,1)))
        self.b = 0
        self.eCache = np.mat(np.zeros((self.m,2))) 
        self.K = np.mat(np.zeros((self.m,self.m)))
        for i in range(self.m):                            #计算所有数据的核K
            self.K[:,i] = kernelTrans(self.X, self.X[i,:], kTup)

对innerL()和calcEk()函数进行修改

def innerL(i, oS):
    Ei = calcEk(oS, i)
    if ((oS.labelMat[i]*Ei < -oS.tol) and (oS.alphas<