智能感知实验二：SVM 在测试数据处理中的应用

实验内容

基于 SVM 对安德森鸢尾花卉数据集（Iris）利用特征提取方法对 Iris 数据集降维，并基于 SVM 进行特征分类。

1. 山鸢尾、变色鸢尾的二分类问题。
   要求：
   1、利用留出法划分数据集（70%训练集）。
   2、利用常用性能度量方法评价特征提取（维度）对分类效果的影响。
   3、利用常用性能度量方法评价 SVM 的分类效果，性能度量指标不少于 4 个。
   4、评价特征提取方法与 SVM 参数设置对模型分类准确率的影响。

### 数据集内包含 3 类共 150 条记录，每类各 50 个数据
### 每条记录都有 4 项特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度
from sklearn import svm
import numpy as np
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.metrics import *
from sklearn.decomposition import PCA
data=pd.read_csv(open('iris.csv',encoding='utf-8'))
print("部分数据\n",data.head(3))
print("描述\n",data.describe())
print("缺失值情况\n",data.isnull().sum())
print("每列有几种不同值\n",data.nunique())
data['classes'] = data['classes'].apply(lambda x:0 if x=="Iris-setosa" else x)
data['classes'] = data['classes'].apply(lambda x:1 if x=="Iris-versicolor" else x)
print("部分数据\n",data.head(3))
#2、利用常用性能度量方法评价特征提取（维度）对分类效果的影响。
plt.figure(figsize=(15,10))
ax = sns.heatmap(data.corr(),cmap=plt.cm.RdYlGn,annot=True,fmt='.2f')
a,b=ax.get_ylim()
ax.set_ylim(a+0.5,b-0.5)
y=data['classes'].values
col=data.iloc[:,0:4]
features=col.values
# print(features)
## SVM 支持向量机
### svm 核为 rbf
# 划分数据集 3：7
X_train, X_test, y_train, y_test = train_test_split(features, y, test_size=0.3, random_state=42)
clf = svm.SVC(C=0.8, kernel='rbf', gamma=20, decision_function_shape='ovo')
clf.fit(X_train, y_train)
y_pre=clf.predict(X_test)
# 评估 X 中样本的决策函数,平均准确度
# print(clf.decision_function(X_train))
print('score:',clf.score(X_test,y_test))
# 准确度分类得分,平均精度 (AP),召回率。
print('accuracy_score:',accuracy_score(y_test, y_pre))
print('precision_score',precision_score(y_test, y_pre))
print('recall_score',recall_score(y_test,y_pre))
### 将惩罚系数降到 0.5
# 划分数据集 3：7
X_train, X_test, y_train, y_test = train_test_split(features, y, test_size=0.3, random_state=42)
clf = svm.SVC(C=0.5, kernel='rbf', gamma=20, decision_function_shape='ovo')
clf.fit(X_train, y_train)
y_pre=clf.predict(X_test)
# 评估 X 中样本的决策函数,平均准确度
# print(clf.decision_function(X_train))
print('score:',clf.score(X_test,y_test))
# 准确度分类得分,平均精度 (AP),召回率。
print('accuracy_score:',accuracy_score(y_test, y_pre))
print('precision_score',precision_score(y_test, y_pre))
print('recall_score',recall_score(y_test,y_pre))
### 换成线性核
# 划分数据集 3：7
X_train, X_test, y_train, y_test = train_test_split(features, y, test_size=0.3, random_state=42)
clf = svm.SVC(C=0.5, kernel='linear', gamma=20, decision_function_shape='ovo')
clf.fit(X_train, y_train)
y_pre=clf.predict(X_test)
# 评估 X 中样本的决策函数,平均准确度
# print(clf.decision_function(X_train))
print('score:',clf.score(X_test,y_test))
# 准确度分类得分,平均精度 (AP),召回率。
print('accuracy_score:',accuracy_score(y_test, y_pre))
print('precision_score',precision_score(y_test, y_pre))
print('recall_score',recall_score(y_test,y_pre))
## 加入特征提取方法 PCA
### 4 维转 3 维
pca = PCA(n_components=3)
features = pca.fit_transform(features)
print(features.shape)
print(pca.explained_variance_ratio_)#每个选定组件解释的方差百分比。
print(pca.singular_values_)#对应于每个选定组件的奇异值
# 划分数据集 3：7
X_train, X_test, y_train, y_test = train_test_split(features, y, test_size=0.3, random_state=42)
clf = svm.SVC(C=0.5, kernel='rbf', gamma=20, decision_function_shape='ovo')
clf.fit(X_train, y_train)
y_pre=clf.predict(X_test)
# 评估 X 中样本的决策函数,平均准确度
# print(clf.decision_function(X_train))
print('score:',clf.score(X_test,y_test))
# 准确度分类得分,平均精度 (AP),召回率。
print('accuracy_score:',accuracy_score(y_test, y_pre))
print('precision_score',precision_score(y_test, y_pre))
print('recall_score',recall_score(y_test,y_pre))
### 4 维转 2 维
pca = PCA(n_components=2)
features = pca.fit_transform(features)
print(features.shape)
print(pca.explained_variance_ratio_)#每个选定组件解释的方差百分比。
print(pca.singular_values_)#对应于每个选定组件的奇异值
# 划分数据集 3：7
X_train, X_test, y_train, y_test = train_test_split(features, y, test_size=0.3, random_state=42)
clf = svm.SVC(C=0.5, kernel='rbf', gamma=20, decision_function_shape='ovo')
clf.fit(X_train, y_train)
y_pre=clf.predict(X_test)
# 评估 X 中样本的决策函数,平均准确度
# print(clf.decision_function(X_train))
print('score:',clf.score(X_test,y_test))
# 准确度分类得分,平均精度 (AP),召回率。
print('accuracy_score:',accuracy_score(y_test, y_pre))
print('precision_score',precision_score(y_test, y_pre))
print('recall_score',recall_score(y_test,y_pre))
### 4 维转 1 维
pca = PCA(n_components=2)
features = pca.fit_transform(features)
print(features.shape)
print(pca.explained_variance_ratio_)#每个选定组件解释的方差百分比。
print(pca.singular_values_)#对应于每个选定组件的奇异值
# 划分数据集 3：7
X_train, X_test, y_train, y_test = train_test_split(features, y, test_size=0.3, random_state=42)
clf = svm.SVC(C=0.5, kernel='rbf', gamma=20, decision_function_shape='ovo')
clf.fit(X_train, y_train)
y_pre=clf.predict(X_test)
# 评估 X 中样本的决策函数,平均准确度
# print(clf.decision_function(X_train))
print('score:',clf.score(X_test,y_test))
# 准确度分类得分,平均精度 (AP),召回率。
print('accuracy_score:',accuracy_score(y_test, y_pre))
print('precision_score',precision_score(y_test, y_pre))
print('recall_score',recall_score(y_test,y_pre))