数据分类：支持向量机

最新推荐文章于 2024-05-15 09:35:11 发布
最新推荐文章于 2024-05-15 09:35:11 发布
阅读量1.6k 收藏 18
点赞数 1
文章标签： 支持向量机 分类 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46443403/article/details/122916026
版权

一、作业要求

  1. 编写SVM算法程序（可从网络查找相应代码），平台自选。
  2. 使用SVM 算法，分别用三种核函数对给定样本数据集建立分类模型。其中数据文件中维度“类型”为标识的类型。
  3. 用60%的数据为训练集，40%为测试集，用准确度、灵敏度和特效性检验你的结果。
  4. 完成挖掘报告。

二、数据集预分析

  1. 数据集前五条展示
    在这里插入图片描述

  2. 查看数据集的整体信息
    整个数据集共12列，569行，无缺失值，不需要做缺失值处理。
    在这里插入图片描述

  3. 数据集列的注释
    包括ID，类型与特征共12个
    在这里插入图片描述

  4. 查看数据各特征下平均值，方差，最值，四分位数等指标值
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  5. 数据两种类型分布情况可视化
    在这里插入图片描述

三、数据预处理

  1. 特征选择
    在这里插入图片描述
    热力图对角线上的为单变量自身的相关系数是1，颜色越浅代表相关性越大。观察热力图可见radius_mean、perimeter_mean 和 area_mean 相关性非常大，compactness_mean、concavity_mean、concave_points_mean这3个字段也是相关的，因此可选择radius_mean，perimeter_mean，area_mean，compactness_mean，concavity_mean，concave_points_mean这六个特征作为最主要特征。

四、相关知识

  1. SVM核函数
    ① 线性核函数
    线性核函数（Linear Kernel）其实就是线性可分SVM，也就是说，线性可分SVM可以和线性不可分SVM归为一类，区别仅仅在于线性可分SVM用的是线性核函数。
    在这里插入图片描述
    ② 高斯核函数
    高斯核函数（Gaussian Kernel），在SVM中也称为径向基核函数（Radial Basis Function,RBF），它是非线性分类SVM最主流的核函数，是libsvm默认的核函数。
    在这里插入图片描述
    ③ Sigmoid核函数
    Sigmoid核函数（Sigmoid Kernel）也是线性不可分SVM常用的核函数之一。
    在这里插入图片描述
  2. SVM性能度量指标
    ① 混淆矩阵
    针对二分类问题，通常将我们所关心的类别定为正类，另一类称为负类。混淆矩阵由如下数据构成：
    True Positive (真正，TP)：将正类预测为正类的数目
    True Negative (真负，TN)：将负类预测为负类的数目
    False Positive(假正，FP)：将负类预测为正类的数目（误报）
    False Negative(假负，FN)：将正类预测为负类的数目（漏报）
MB
F(False,0)TNFP
T(True,1)FNTP

② 准确率
准确率是最常见的评价指标，预测正确的样本数占所有的样本数的比例；通常来说，准确率越高分类器越好。
在这里插入图片描述
③ 敏感度（召回率）
灵敏度表示的是样本中所有正例中被识别的比例，衡量了分类器对正例的识别能力。
在这里插入图片描述
④ 特效性检验（特效度）
特效度表示的是样本中所有负例中被识别的比例，衡量了分类器对负例的识别能力。
在这里插入图片描述

五、概要设计

概要设计流程图：
在这里插入图片描述

六、详细设计及核心代码

  1. 读取数据集与数据集概况查看
#读取数据集
data = pd.read_excel('分类作业数据集.xlsx')
#数据集查看
print(data.info())
print(data.columns)
print(data.head(5))
print(data.describe())
  1. 数据清洗与类型映射
#数据清洗
#“ID"列没有实际意义，删除
data.drop('ID',axis = 1,inplace=True)
#将类型的B，M用0,1代替
data['类型'] = data['类型'].map({'M':1,'B':0})
  1. 数据可视化与特征选择
# 特征字段放入features_mean
features_mean= list(data.columns[1:12])
# 可视化两种类型分布
sns.countplot(x="类型",data=data)
plt.show()
# 用热力图呈现features_mean字段之间的相关性
corr = data[features_mean].corr()
plt.figure(figsize=(14,14))
# annot=True显示每个方格的数据
sns.heatmap(corr, annot=True)
plt.show()
# 特征选择后得到的6个特征
features_remain = ['radius','texture', 'smoothnesscompactness','compactness','symmetry ', 'fractal dimension ']
  1. 切分数据集为训练集和测试集
#抽取40%的数据作为测试集，其余60%作为训练集
train,test = train_test_split(data,test_size = 0.4)
 #抽取特征选择的数值作为训练和测试数据
train_X = train[features_remain]   
train_y = train['类型']
test_X = test[features_remain]
test_y = test['类型']
  1. 标准化数据
#采用Z-Score标准化，保证每个特征维度的数据均值为0，方差为1
ss = StandardScaler()
train_X = ss.fit_transform(train_X)
test_X = ss.transform(test_X)
  1. 采用SVM三个核函数建立分类模型与性能度量
print("%%%%%%%准确度%%%%%%%")
print("%%%%%%%敏感度%%%%%%%")
print("%%%%%%%特效度%%%%%%%")
print("%%%%%%%F1_score%%%%%%%")
kernelList = ['linear','rbf','sigmoid']
for kernel in kernelList:
    svc = SVC(kernel=kernel).fit(train_X,train_y)
    y_pred = svc.predict(test_X)
    # 计算准确度
    score_svc = metrics.accuracy_score(test_y,y_pred)
    print(kernel+":")
    print(score_svc)
    # 计算召回率（敏感度）
    print(recall_score(test_y, y_pred))
    # 混淆矩阵
    C = confusion_matrix(test_y, y_pred)
    TN=C[0][0]
    FP=C[0][1]
    FN=C[1][0]
    TP=C[1][1]
    # 计算特效度
    specificity=TN/(TN+FP)
    print(specificity)

    # 计算f1_score
    # print(f1_score(test_y, y_pred))
    # print(classification_report(test_y, y_pred))

七、运行截图

以下分别是三个核函数模型的准确度，敏感度，特效度结果：

为了更直观看到SVM三个核函数建立模型的性能度量值，将所得结果绘制成表格如下（保留小数点后五位）：
在这里插入图片描述

由表格可见，对于该数据集，核函数rbf建立的模型在准确度和敏感度上均高于其余两种核函数，特效度略低于linear核函数模型，从整体来看，核函数rbf建立的分类模型应用于该数据集性能更好。

八、完整代码

import matplotlib
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.metrics import classification_report, confusion_matrix
from sklearn.model_selection import train_test_split
from sklearn import svm
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn import metrics
from sklearn.metrics import recall_score
from sklearn.metrics import f1_score
# 解决坐标轴刻度负号乱码
plt.rcParams['axes.unicode_minus'] = False
# 解决中文乱码问题
plt.rcParams['font.sans-serif'] = ['Simhei']
# 显示数据集的所有列
pd.set_option('display.max_columns', None)

#读取数据集
data = pd.read_excel('分类作业数据集.xlsx')
#数据集查看
print(data.info())
print(data.columns)
print(data.head(5))
print(data.describe())

#数据清洗
#“ID"列没有实际意义，删除
data.drop('ID',axis = 1,inplace=True)
#将类型的B，M用0,1代替
data['类型'] = data['类型'].map({'M':1,'B':0})
# 特征字段放入features_mean
features_mean= list(data.columns[1:12])
# 可视化两种类型分布
sns.countplot(x="类型",data=data)
plt.show()
# 用热力图呈现features_mean字段之间的相关性
corr = data[features_mean].corr()
plt.figure(figsize=(14,14))
# annot=True显示每个方格的数据
sns.heatmap(corr, annot=True)
plt.show()
# 特征选择后得到的6个特征
features_remain = ['radius','texture', 'smoothnesscompactness','compactness','symmetry ', 'fractal dimension ']

#抽取40%的数据作为测试集，其余60%作为训练集
train,test = train_test_split(data,test_size = 0.4)
train_X = train[features_remain]   #抽取特征选择的数值作为训练和测试数据
train_y = train['类型']
test_X = test[features_remain]
test_y = test['类型']

#采用Z-Score标准化，保证每个特征维度的数据均值为0，方差为1
ss = StandardScaler()
train_X = ss.fit_transform(train_X)
test_X = ss.transform(test_X)

print("%%%%%%%准确度%%%%%%%")
print("%%%%%%%敏感度%%%%%%%")
print("%%%%%%%特效度%%%%%%%")
print("%%%%%%%F1_score%%%%%%%")
kernelList = ['linear','rbf','sigmoid']
for kernel in kernelList:
    svc = SVC(kernel=kernel).fit(train_X,train_y)
    y_pred = svc.predict(test_X)
    # 计算准确度
    score_svc = metrics.accuracy_score(test_y,y_pred)
    print(kernel+":")
    print(score_svc)
    # 计算召回率（敏感度）
    print(recall_score(test_y, y_pred))
    # 混淆矩阵
    C = confusion_matrix(test_y, y_pred)
    TN=C[0][0]
    FP=C[0][1]
    FN=C[1][0]
    TP=C[1][1]
    # 计算特效度
    specificity=TN/(TN+FP)
    print(specificity)

    # 计算f1_score
    # print(f1_score(test_y, y_pred))
    # print(classification_report(test_y, y_pred))
tick-tick
关注
  • 1
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
【人工智能】支持向量机(SVM)算法分析数据集
半山黄油仙的博客
03-20 859
支持向量机（support vector machines, SVM）和感知器算法一样都是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机。算法的主要思路就是寻找最佳超平面，当从二维扩展到多维空间中时，将两类不同的数据完全正确地划分开就成了一个超平面。为了使这个超平面更具鲁棒性，我们需要去找最佳超平面，这个平面在三维空间内距离需要划分的两个类别的最近的样本最远。
机器学习笔记之数据集
万物皆可互联，一切均可编程
03-07 784
mnsit手写数字数据集 介绍 内容 参考 数据集下载 tensorflow中文社区介绍mnist 鸢尾花数据集 乳腺癌数据集 手写数字数据集 糖尿病数据集 波斯顿房价数据集 体能训练数据集...
支持向量机——数据可视化
tao_0410的博客
05-15 1654
通过绘制数据点和决策超平面的图形，我们可以直观地看到SVM是如何将数据分开的，并理解其背后的原理。text (0. 5,0. 5, 'subplot(2,1,1)', ha='center', va= 'center', size = 24, alpha =. 5), 函数是绘制文本，前2个参数为坐标，第3个参数为绘制的内容。库，与绘图函数的调用形式基本一致，参数x和y为轴和y轴的坐标向量，s和c为形状大小参数和颜色参数，alpha 表达透明度，若 alpha=1 则表示完全不透明。首先尝试一下图的布局。
机器学习之支持向量机（SVM）
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-26 2万+
支持向量机（support vector machine，SVM）是有监督学习中最有影响力的机器学习算法之一，该算法的诞生可追溯至上世纪 60 年代， 前苏联学者 Vapnik 在解决模式识别问题时提出这种算法模型，此后经过几十年的发展直至 1995 年， SVM 算法才真正的完善起来，其典型应用是解决手写字符识别问题。SVM 是一种非常优雅的算法，有着非常完善的数学理论基础，其预测效果，在众多机器学习模型中“出类拔萃”。在深度学习没有普及之前，“支持向量机”可以称的上是传统机器学习中的“霸主”。
第六课 支持向量机（ Support Vector Machine, SVM）—— libsvm应用
Hubert的博客
11-09 1976
乳腺癌诊断实战：分类 1、使用数据说明：BreastTissue_data.mat 106个样本数据，每个样本9个特征，标签：20个1,15个2,18个3,16个4,14个5,22个6。 matrix中106*9，每一行表示一个样本的9个特征输入数据。 2、libsvm训练参数的设定 训练数据svm-train中参数： svm-train主要实现对训练数据集的训练，并可以获得SVM模型。用法：...
机器学习：支持向量机（SVM）
热门推荐
燕双嘤
11-06 17万+
1，概述 1.1，概念 支持向量机（SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，可以将问题化为一个求解凸二次规划的问题。与逻辑回归和神经网络相比，支持向量机，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。 具体来说就是在线性可分时，在原空间寻找两类样本的最优分类超平面。在线性不可分时，加入松弛变量并通过使用非线性映射将低维度输入空间的样本映射到高维度空间使其变为线性可分，这样就可以在该特征空间中寻找最优分类超平面。 SV
葡萄酒支持向量机SVM分类
04-15
在本示例中，“葡萄酒支持向量机SVM分类”是利用SVM来对葡萄酒数据进行分类的实践项目。这个压缩包可能包含了完整的Python代码，允许用户直接下载并运行，以体验SVM在实际问题中的应用。 SVM的核心思想是找到一个...
分类算法2：SVM支持向量机方法
08-11
支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习算法，广泛应用于分类和回归问题。在机器学习领域，SVM以其高效性和泛化能力而受到关注。本篇文章将深入探讨SVM的基本概念、工作原理以及如何...
基于支持向量机的数据分类预测-matlab程序
07-19
**基于支持向量机的数据分类预测-matlab程序** 支持向量机（SVM，Support Vector Machine）是一种广泛应用的监督学习算法，常用于分类和回归问题。它通过构造一个超平面来最大程度地分离不同类别的样本，使得两类...
基于支持向量机的数据分类预测Matlab程序SVM 多特征输入多类别输出
最新发布
05-25
基于支持向量机的数据分类预测Matlab程序SVM 多特征输入多类别输出 基于支持向量机的数据分类预测Matlab程序SVM 多特征输入多类别输出 基于支持向量机的数据分类预测Matlab程序SVM 多特征输入多类别输出 基于支持...
灰狼算法优化支持向量机分类MATLAB代码
04-26
支持向量机（Support Vector Machine, SVM）是一种广泛应用于机器学习领域的监督学习模型，它通过构建最大边距超平面来实现数据的分类。然而，在面对高维复杂数据时，SVM的参数优化成为一个挑战。这时，灰狼算法...
体能训练训练方法集锦
03-17
体能训练方法集锦体能训练训练方法集锦体能训练训练方法集锦体能训练训练方法集锦体能训练训练方法集锦体能训练训练方法集锦体能训练训练方法集锦
SVM生成数据集
06-14
与我的博客“二分类支持向量机模型SVM知识点详解”对应数据集生成程序
matlab支持向量机分类实例（十分详细）附数据
06-15
matlab支持向量机分类实例（十分详细）附数据
基于MATLAB的SVM支持向量机的数据分类仿真，包括训练和测试
FPGA/MATLAB学习教程/源码/项目合作开发
02-05 4127
而传统的基于神经网络的学习理论，往往需要较大数量的样本作为训练数据，因此传统的神经网络学习方法其对样本数量的依赖性较大。通过SVM支持向量机的分类算法，其首先需要对数据进行预处理，将维度较高的特征数据转换为低维度的特征数据，然后通过一个非线性映射函数产生一个对数据进行分割的超平面。下面对这两种SVM的基本原理进行介绍。将分组后的火特征数据以及非火特征数据组合成一个数据，然后再加入1和0的标志位进行训由于Final_Fire0，Final_Fire1是MXN类型的数据，所以将其转换为1XM的数据。
支持向量机-wine数据集
weixin_50197893的博客
12-06 3712
支持向量机是监督式学习算法，主要应用于分类，它的目的是寻找一个超平面对样本进行分割，分割的原则是间隔最大化。 （1）当训练数据线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机； （2）当训练数据近似线性可分时，通过软间隔最大化，学习一个线性分类器，即线性支持向量机； （3）当训练数据线性不可分时，通过核技巧（将低维数据映射到高维空间的办法）或软间隔最大化，学习一个线性分类器，即非线性支持向量机。 使用支持向量机对wine数据集进行分类 1、导入数据集（加载scikit-lea
机器学习 —— 支持向量机
DreamWendy的博客
12-31 1万+
一、基于最大间隔分隔数据 1.1 线性模型 1.2 超平面 1.3 支持向量 1.4 支持向量机 二、寻找最大间隔 三、拉格朗日乘子法与对偶问题 3.1对偶问题：等式约束 3.2不等式约束的KKT条件 3.3最大间隔问题的拉格朗日乘法 四、SMO算法 4.1 小规模数据集 4.2 应用简化版 SMO 算法处理小规模数据集 4.3、利用完整Platt SMO算法加速优化 五、示例：基于SVM的手写数字识别 5.1 数据集 5.2 算法实现 六、实验总结
机器学习实战——手写支持向量机(SVM)——基于鸢尾花数据集
JaneZ0206的博客
05-30 2468
支持向量机（Support Vector Machines，SVM）是一种有监督的机器学习算法，可以用于回归和分类任务，主要用于分类。SVM算法在做的事情就是找到一个最优的分类边界，把不同类别的样本分开。
日常学习记录——支持向量机、随机森林对鸢尾花数据集进行分类
weixin_39276221的博客
10-05 2342
本文采用支持向量机和随机森林算法对鸢尾花数据集进行了分类实验，实验结果表明，对于鸢尾花数据集来说，支持向量机的分类效果会更好，分类正确率达到100%，且没有出现过拟合的现象。主要参考文献如下：1、机器学习SVM：基于Python实现的鸢尾花分类问题2、【集成学习】随机森林实现鸢尾花分类提示：以下是本篇文章正文内容，下面案例可供参考。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值