支持向量机解决非线性问题的简单代码（初学者）

核支持向量机求解非线性问题
支持向量机可以很容易的通过核化来解决非线性化分类问题。
执行下述代码创建一个简单的数据集，调用numpy的logical_or函数形成一个异或门，其中有100个样本分类标签为1，100为-1

import matplotlib.pyplot as plt
import numpy as np 

np.random.seed(1)
x_xor = np.random.randn(200,2)
y_xor = np.logical_xor(x_xor[:,0] > 0,x_xor[:,1] >0)
y_xor = np.where(y_xor,1,-1)
plt.scatter(x_xor[y_xor == 1,0],
            x_xor[y_xor == 1,1],
            c = 'b',marker = 'x',
            label = '1')
plt.scatter(x_xor[y_xor == -1,0],
            x_xor[y_xor == -1,1],
            c = 'r',marker = 's',                            #market代表的是图形形状，其中‘x’是叉形；‘s’是方形
            label = '-1')   

plt.xlim([-3,3])
plt.ylim([-3,3])
plt.legend(loc = 'best')
plt.show()

执行上述代码会产生具有随机噪声的XOR数据集图片如下

核方法的逻辑是针对线性不可分数据，建立非线性组合，通过映射函数把原始特征投影到一个高维空间，使得该特征在高维空间可分。

import matplotlib.pyplot as plt
import numpy as np
from sklearn.svm import SVC 
from matplotlib.colors import ListedColormap
import pandas as pd

np.random.seed(1)
x_xor = np.random.randn(200,2)
y_xor = np.logical_xor(x_xor[:,0] > 0,x_xor[:,1] >0)
y_xor = np.where(y_xor,1,-1)
plt.scatter(x_xor[y_xor == 1,0],
            x_xor[y_xor == 1,1],
            c = 'b',marker = 'x',
            label = '1')
plt.scatter(x_xor[y_xor == -1,0],
            x_xor[y_xor == -1,1],
            c = 'r',marker = 's',                            #market代表的是图形形状，其中‘x’是叉形；‘s’是方形
            label = '-1')   

plt.xlim([-3,3])
plt.ylim([-3,3])

def plot_decision_regions(x,y,classifier,resolution=0.02):

    #定义marker generator and color ma
    markers = ('s','x','o','^','v')
    colors = ('red','blue','lightgreen','gray','cyan')
    cmap = ListedColormap(colors[:len(np.unique(y))])

    #plot the decision surface
    x1_min,x1_max = x[:,0].min() - 1, x[:,0].max() + 1
    x2_min,x2_max = x[:,1].min() - 1, x[:,1].max() + 1
    xx1,xx2 = np.meshgrid(np.arange(x1_min,x1_max,resolution),np.arange(x2_min,x2_max,resolution))
    
    z = classifier.predict(np.array([xx1.ravel(),xx2.ravel()]).T)
    z = z.reshape(xx1.shape)

    plt.contourf(xx1,xx2,z,alpha=0.3,cmap=cmap)
    plt.xlim(xx1.min(),xx1.max())
    plt.xlim(xx2.min(),xx2.max())

svm = SVC(kernel = 'rbf',random_state = 1,gamma =0.10,C = 10.0)
svm.fit(x_xor,y_xor)
plot_decision_regions(x_xor,y_xor,classifier=svm)
plt.legend(loc = 'upper left')
plt.show()