目前先不给出SVM的算法的python代码,先用python自带的SVM进行分类、感谢该视频的相关内容
https://www.youtube.com/watch?v=EySkC36W9hE&t=1631s
线性可分数据
from sklearn.svm import SVC
import matplotlib.pyplot as plt
%matplotlib inline
from sklearn import datasets
import numpy as np
from sklearn.model_selection import train_test_split
## 利用自带的点数据,进行分类
X,y = datasets.make_blobs(n_samples=300,n_features= 2,centers= 2)
X_train,X_test, y_train,y_test = train_test_split(X,y,test_size = 0.2)
## 采用的是线性分类器,tol 就是 我们说的loss,这里非常小,相当于hard-margin
svc = SVC(kernel= 'linear')
svc.fit(X_train,y_train)
y_ = svc.predict(X_test)
## 数据可视化
w1 , w2= svc.coef_[0]
b = svc.intercept_
x1 = np.linspace(-4,6,100)
x2 = (-b - w1*x1)/w2
x2_1 = (1-b - w1*x1)/w2
x21 = (-1-b - w1*x1)/w2
support_vectors = svc.support_vectors_ ## 得到支持向量
plt.scatter(X_train[:,0],X_train[:,1],c = y_train)
plt.scatter(X_test[:,0],X_test[:,1],c = y_)
plt.plot(x1,x2)
plt.plot(x1,x2_1,'--')
plt.plot(x1,x21,'--')
plt.scatter(support_vectors[:,0],support_vectors[:,1],marker= 'o',s = 300,alpha= 0.3 , c='red')
输出结果,可见准确率100%,因为我们将预测数据以预测标签颜色输出,如果分错了就会再各自的位置出现对方颜色的标签。红色标记的就是向量机
线性不可分数据
接下来讨论线性不可分数据
1. 生成数据,随机产生符合正态分布的数据,400个训练,400个测试,可视化训练数据的情况,可见目标按照主对角线分为2类
from sklearn.svm import SVC
import matplotlib.pyplot as plt
%matplotlib inline
from sklearn import datasets
import numpy as np
from sklearn.model_select