一篇文章带你精通SVM支持向量机

1. 支持向量机SVM目标函数推导

        1.1 导入依赖

import numpy as np
import matplotlib.pyplot as plt
# svc 分类问题  svr回归问题
from sklearn.svm import SVC
from sklearn import datasets

        1.2 创建数据

#样本量为100 特征数量为2 centers:中心位置（2类） random_state 随机状态固定了
X,y=datasets.make_blobs(n_samples=100,n_features=2,centers=2,random_state=3)
display(X.shape,y.shape)
plt.scatter(X[:,0],X[:,1],c=y)

        1.3 算法建模

#这里使用SVC向量机 线性建模 
svc=SVC(kernel='linear')
#训练数据
svc.fit(X,y)
#打分
svc.score(X,y)

        1.4 绘制分割线

因为上述的w_是两个特征 因此方程可以写成f(x)=w1x1+w2x2+b,对应的坐标轴为x与y,也就是

f(x)=w1x+w2y+b 在令f(x)=0 得0=w1x+w2y+b，最后转换为

w=-w_[0,0]/w_[0,1]
w

b,=-b_/w_[0,1]
b

#获得支持向量
sv=svc.support_vectors_
sv

x=np.linspace(-5,1,100)
y_result=w*x+b
plt.scatter(X[:,0],X[:,1],c=y)
plt.plot(x,y_result,color='red')

#支持向量的上边界和下边界
b1=sv[0][1]-w*sv[0][0]
plt.plot(x,w*x+b1,color='blue',ls='--')
# 下边界
b2=sv[2][1]-w*sv[2][0]
plt.plot(x,w*x+b2,color='yellow',ls='--')

        2. 作业（使用SVM支持向量机/逻辑回归对手写数字（0~9）进行分类）

       2.1 导入依赖

import pandas as pd
import numpy as np
from sklearn.svm import SVC
from sklearn.linear_model import LogisticRegression
from sklearn import datasets
from sklearn.model_selection import train_test_split
#降维 减少数据的维度  减少特征
from sklearn.decomposition import PCA

        2.2 加载拆分数据

digits=pd.read_csv('./digits.csv')
#digits(42000个样本  785个特征)
# 随机抽样索引下标 从42000个中抽取5000个样本
index=np.random.randint(0,42000,size=5000)
data=digits.take(index)
#选中所有的行,列从下标为1的列到最后一列
display('data',data)
X=data.iloc[:,1:]
y=data['label']
display(X.shape,y.shape)
X_train, X_test, y_train, y_test=train_test_split(X,y,test_size=0.1)
display(X_train.shape, X_test.shape, y_train.shape, y_test.shape)

        2.3 建模对比

                2.3.1 逻辑回归

        

%time
model=LogisticRegression(max_iter=5000)
model.fit(X_train,y_train)
print('逻辑斯蒂回归的评分为：',model.score(X_test,y_test))

                2.3.2 svm支持向量机

%time
model=SVC()
model.fit(X_train,y_train)
print('svm支持向量机的评分为：',model.score(X_test,y_test))

        2.4 100次运算平均分

X.shape

import matplotlib.pyplot as plt

index=np.random.randint(0,5000,size=1)[0]
#X.iloc[index]是一个series 需要转换形状
num=X.iloc[index].values
# 因为num是一维的 我们需要转换形状  0表示黑色 1为内容
plt.imshow(num.reshape(28,28),cmap='gray')