1. 支持向量机SVM目标函数推导
1.1 导入依赖
import numpy as np
import matplotlib.pyplot as plt
# svc 分类问题 svr回归问题
from sklearn.svm import SVC
from sklearn import datasets
1.2 创建数据
#样本量为100 特征数量为2 centers:中心位置(2类) random_state 随机状态固定了
X,y=datasets.make_blobs(n_samples=100,n_features=2,centers=2,random_state=3)
display(X.shape,y.shape)
plt.scatter(X[:,0],X[:,1],c=y)
1.3 算法建模
#这里使用SVC向量机 线性建模
svc=SVC(kernel='linear')
#训练数据
svc.fit(X,y)
#打分
svc.score(X,y)
1.4 绘制分割线
因为上述的w_是两个特征 因此方程可以写成f(x)=w1x1+w2x2+b,对应的坐标轴为x与y,也就是
f(x)=w1x+w2y+b 在令f(x)=0 得0=w1x+w2y+b,最后转换为
w=-w_[0,0]/w_[0,1]
w
b,=-b_/w_[0,1]
b
#获得支持向量
sv=svc.support_vectors_
sv
x=np.linspace(-5,1,100)
y_result=w*x+b
plt.scatter(X[:,0],X[:,1],c=y)
plt.plot(x,y_result,color='red')
#支持向量的上边界和下边界
b1=sv[0][1]-w*sv[0][0]
plt.plot(x,w*x+b1,color='blue',ls='--')
# 下边界
b2=sv[2][1]-w*sv[2][0]
plt.plot(x,w*x+b2,color='yellow',ls='--')
2. 作业(使用SVM支持向量机/逻辑回归对手写数字(0~9)进行分类)
2.1 导入依赖
import pandas as pd
import numpy as np
from sklearn.svm import SVC
from sklearn.linear_model import LogisticRegression
from sklearn import datasets
from sklearn.model_selection import train_test_split
#降维 减少数据的维度 减少特征
from sklearn.decomposition import PCA
2.2 加载拆分数据
digits=pd.read_csv('./digits.csv')
#digits(42000个样本 785个特征)
# 随机抽样索引下标 从42000个中抽取5000个样本
index=np.random.randint(0,42000,size=5000)
data=digits.take(index)
#选中所有的行,列从下标为1的列到最后一列
display('data',data)
X=data.iloc[:,1:]
y=data['label']
display(X.shape,y.shape)
X_train, X_test, y_train, y_test=train_test_split(X,y,test_size=0.1)
display(X_train.shape, X_test.shape, y_train.shape, y_test.shape)
2.3 建模对比
2.3.1 逻辑回归
%time
model=LogisticRegression(max_iter=5000)
model.fit(X_train,y_train)
print('逻辑斯蒂回归的评分为:',model.score(X_test,y_test))
2.3.2 svm支持向量机
%time
model=SVC()
model.fit(X_train,y_train)
print('svm支持向量机的评分为:',model.score(X_test,y_test))
2.4 100次运算平均分
X.shape
import matplotlib.pyplot as plt
index=np.random.randint(0,5000,size=1)[0]
#X.iloc[index]是一个series 需要转换形状
num=X.iloc[index].values
# 因为num是一维的 我们需要转换形状 0表示黑色 1为内容
plt.imshow(num.reshape(28,28),cmap='gray')