SKLearn实现SVM，使用medical-mnist数据集

已于 2023-10-25 16:57:08 修改
阅读量1.4k 收藏 5
点赞数
CC 4.0 BY-SA版权
文章标签： 支持向量机 sklearn 机器学习
于 2023-07-04 13:38:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52589927/article/details/131530632
本文介绍了如何使用SVM和支持向量机（SVM）在Python中对Medical-MNIST数据集进行图像分类。首先，通过OpenCV加载和处理图像数据，然后进行数据预处理，包括划分训练集和测试集以及标准化。接着，构建SVM模型并进行训练，使用网格搜索优化参数，通过交叉验证评估模型性能。最后，保存和加载模型，并对新图像进行预测。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

上一章，我们讲了SVM手写数字识别 - SKLearn实现SVM - MNIST数据集，其中使用的数据集是sklearn中自带的mnist数据集。现在，我们要在上一个代码的基础上，将数据集更换为medical-mnist，并且进行分类与预测。

数据集准备

首先，数据集长这个样子（网上随便找的），四个文件夹分别代表四个类别，每个文件夹内都是1000张左右的.jpeg后缀的图片文件

 

打开pycharm，把数据集放进去。顺便再创建一个test文件夹，里面放一张图，供一会儿测试使用

 开始敲代码

先把要导的包放在最前面

# sklearn
import joblib
import sklearn.model_selection as sk_model_selection
import sklearn.preprocessing as sk_preprocessing
from sklearn.model_selection import GridSearchCV
from sklearn import svm
# 图像处理opencv
import os
import cv2

一、加载数据集

# 数据集根目录
dataset_root = 'data/medical-mnist'
# 类别名称列表
class_names = ['AbdomenCT', 'BreastMRI', 'ChestCT', 'CXR']
# 存储图像数据和标签的列表
images = []
labels = []
# 遍历每个类别文件夹
for class_name in class_names:
    # 类别文件夹路径
    class_dir = os.path.join(dataset_root, class_name)
    # 获取类别的标签
    label = class_names.index(class_name)
    # 遍历当前类别文件夹下的图像文件
    for filename in os.listdir(class_dir):
        if filename.endswith('.jpeg'):
            # 图像文件路径
            image_path = os.path.join(class_dir, filename)
            # 使用OpenCV加载图像
            image = cv2.imread(image_path)
            # 将图像转换为灰度图或其他需要的格式
            gray_image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
            # 将图像数据添加到列表
            images.append(gray_image.reshape(-1))
            # 将对应的标签添加到列表
            labels.append(label)

这时我们print一下，看看效果咋样

# 打印数据集大小和标签示例
print('数据集大小:', len(images))
print('标签示例:', labels[999:1002])

 二、处理数据集

  1. X和y：输入的数据集和标签。
  2. train_size=0.8：指定训练集的比例，这里设置为80%。
  3. random_state=20：指定随机种子，确保划分的结果可以复现。
  4. scaler = sk_preprocessing.StandardScaler().fit(X_train)：使用StandardScaler类对训练集数据进行拟合，计算出均值和标准差。
  5. X_train_scaled = scaler.transform(X_train)：对训练集数据进行标准化处理，将数据按照均值和标准差进行缩放转换。
# 加载新的数据集
X = images
y = labels
# 数据集划分
X_train, X_test, y_train, y_test = sk_model_selection.train_test_split(X, y, train_size=0.8, random_state=20)
# 数据预处理
scaler = sk_preprocessing.StandardScaler().fit(X_train)
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)

三、模型训练与评估

  1. 创建SVM模型：使用SVM（支持向量机）算法创建一个分类模型。参数C=1.0表示正则化参数为1.0（给定初始值可以帮助缩小搜索空间并加速搜索过程），kernel='rbf'表示使用径向基函数作为核函数，gamma='auto'表示使用默认的gamma值。

  2. 拟合模型：使用训练集（X_train_scaled和y_train）对模型进行拟合，通过学习训练数据集的特征和标签之间的关系，训练模型的参数。

  3. 为模型打分：使用测试集（X_test_scaled和y_test）对训练好的模型进行评估，计算模型在测试数据上的准确率。

  4. 网格搜索优化模型：使用网格搜索（GridSearchCV）来搜索SVM模型的最佳参数组合。通过指定不同的参数值，如kernel和C的取值范围，GridSearchCV会自动进行交叉验证来确定最佳参数组合。在给定的参数范围内，网格搜索会尝试不同的参数组合并计算每个组合的得分，最后找到最佳得分对应的最佳参数组合。

  5. 输出最优参数和最优得分：打印出网格搜索找到的最佳参数组合和对应的最佳得分。

  6. 交叉验证：使用交叉验证（cross_val_score）对最优模型进行评估。将数据集分成K个子集，依次使用其中一个子集作为验证集，其余子集作为训练集，计算模型在验证集上的准确率。通过交叉验证可以更准确地评估模型的性能。

# 创建SVM模型
model = svm.SVC(C=1.0, kernel='rbf', gamma='auto')
# 拟合模型
model.fit(X_train_scaled, y_train)
# 为模型打分
accuracy = model.score(X_test_scaled, y_test)
print('SVM模型评价:', accuracy)
# 网格搜索优化模型
parameters = {'kernel': ('linear', 'rbf'), 'C': [1, 10]}
grid_model = GridSearchCV(model, parameters)
grid_model.fit(X_train_scaled, y_train)
print("最优参数: ", grid_model.best_params_)
print("最优得分: ", grid_model.best_score_)
# 交叉验证
scores = sk_model_selection.cross_val_score(grid_model, X, y, cv=5)
print("交叉验证得分: ", scores)
print("平均准确率: ", scores.mean())

 四、模型保存与加载

  1. 将 grid_model（经过网格搜索优化后的模型）保存到名为 'svm_medical_model.pkl' 的文件中。joblib.dump() 函数用于将对象序列化并保存到文件中，以便后续使用。
  2. 从文件 'svm_medical_model.pkl' 中加载模型，并将其存储在 loaded_model 变量中。joblib.load() 函数用于从文件中加载先前保存的模型。
# 模型保存
joblib.dump(grid_model, 'svm_medical_model.pkl')
# 模型加载
loaded_model = joblib.load('svm_medical_model.pkl')

五、模型预测

  1. image_path = "data/test/test.jpeg": 定义了图像文件的路径
  2. 使用 scaler 对象的 transform() 方法对 test 进行特征缩放，以使其具有与训练数据相似的数据分布。然后，使用 reshape() 函数将 test 转换为形状为 (1, -1) 的二维数组，以匹配模型期望的输入形状。
  3. 使用加载的模型 loaded_model 对预处理后的图像 test 进行预测。
# 图像文件路径
image_path = "data/test/test.jpeg"
# 使用OpenCV加载图像
image = cv2.imread(image_path)
# 将图像转换为灰度图或其他需要的格式
test = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 对图像进行与训练数据相同的预处理
test = scaler.transform(gray_image.reshape(1, -1))
# 自己选择的图像 预测结果
predictions = loaded_model.predict(test)
print(predictions)

完整代码

# sklearn
import joblib
import sklearn.model_selection as sk_model_selection
import sklearn.preprocessing as sk_preprocessing
from sklearn.model_selection import GridSearchCV
from sklearn import svm
# 图像处理opencv
import os
import cv2

# 数据集根目录
dataset_root = 'data/medical-mnist'
# 类别名称列表
class_names = ['AbdomenCT', 'BreastMRI', 'ChestCT', 'CXR']
# 存储图像数据和标签的列表
images = []
labels = []
# 遍历每个类别文件夹
for class_name in class_names:
    # 类别文件夹路径
    class_dir = os.path.join(dataset_root, class_name)
    print(class_name)
    print(class_names)
    # 获取类别的标签
    label = class_names.index(class_name)
    print(label)
    # 遍历当前类别文件夹下的图像文件
    for filename in os.listdir(class_dir):
        if filename.endswith('.jpeg'):
            # 图像文件路径
            image_path = os.path.join(class_dir, filename)
            # 使用OpenCV加载图像
            image = cv2.imread(image_path)
            # 将图像转换为灰度图或其他需要的格式
            gray_image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
            # 将图像数据添加到列表
            images.append(gray_image.reshape(-1))
            # 将对应的标签添加到列表
            labels.append(label)

# 打印数据集大小和标签示例
print('数据集大小:', len(images))
print('标签示例:', labels[999:1002])

# 加载新的数据集
X = images
y = labels
# 数据集划分
X_train, X_test, y_train, y_test = sk_model_selection.train_test_split(X, y, train_size=0.8, random_state=20)
# 数据预处理
scaler = sk_preprocessing.StandardScaler().fit(X_train)
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 创建SVM模型
model = svm.SVC(C=1.0, kernel='rbf', gamma='auto')
# 拟合模型
model.fit(X_train_scaled, y_train)
# 为模型打分
accuracy = model.score(X_test_scaled, y_test)
print('SVM模型评价:', accuracy)
# 网格搜索优化模型
parameters = {'kernel': ('linear', 'rbf'), 'C': [1, 10]}
grid_model = GridSearchCV(model, parameters)
grid_model.fit(X_train_scaled, y_train)
print("最优参数: ", grid_model.best_params_)
print("最优得分: ", grid_model.best_score_)
# 交叉验证
scores = sk_model_selection.cross_val_score(grid_model, X, y, cv=5)
print("交叉验证得分: ", scores)
print("平均准确率: ", scores.mean())

# 模型保存
joblib.dump(grid_model, 'svm_medical_model.pkl')
# 模型加载
loaded_model = joblib.load('svm_medical_model.pkl')

# 测试集 预测结果
predictions = loaded_model.predict(X_test_scaled)
print(predictions)

# 图像文件路径
image_path = "data/test/test.jpeg"
# 使用OpenCV加载图像
image = cv2.imread(image_path)
# 将图像转换为灰度图或其他需要的格式
test = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 对图像进行与训练数据相同的预处理
test = scaler.transform(gray_image.reshape(1, -1))
# 自己选择的图像 预测结果
predictions = loaded_model.predict(test)
print(predictions)

The Future of AI in Healthcare: LifeChanging Decisions
AI天才研究院
12-26 144
医疗健康AI是一种利用人工智能技术来解决医疗健康领域问题的方法。它涉及到各种人工智能技术，如机器学习、深度学习、自然语言处理等，以及各种医疗健康领域的应用，如诊断、治疗、预测、管理等。
Medical MNIST 医疗MNIST-数据集
03-12
该数据集是64x64尺寸的简单MNIST样式的医学图像； 最初是从其他数据集中获取的，然后加工成这种样式。有58954个医学图像属于6个类别。 Medical MNIST_datasets.txt Medical MNIST_datasets.zip
SVM实现MNIST数据集分类
01-19
本代码为matlab实现的支持向量机模式识别算法，对MNIST数据集进行三种样本分类，如果电脑内存够大，可以实现更多的类别分类，另外exclass是对随机的两个样本分类，也可以参考，exmuticlassall为对MNIST数据集分类，注释掉的代码也可以实现随即三样本分类并作图。
MNIST手写数字识别：数据集详解与应用
weixin_42393362的博客
05-11 1040
MNIST数据集（Mixed National Institute of Standards and Technology database）是一个广泛用于机器学习和计算机视觉领域中手写数字识别问题的数据库。它由Yann LeCun等人收集，包含了成千上万的手写数字图像。这些图像都是灰度图，大小为28x28像素，并且被归一化到[0,255]区间。
使用sklearn进行mnist数据集分类
qq_42987423的博客
06-03 3043
import time import matplotlib.pyplot as plt import numpy as np from sklearn.datasets import fetch_openml from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardSc
sklearn导入手写数字数据集Mnist
weixin_62100318的博客
01-15 1018
查看网上资源后发现fetch_mldata工具包已经不再使用，需要使用 fetch_openml工具包。网络还有一些其他的文章，对现成的数据集进行下载后使用，相关文章如下。安装下面代码即可导入手写数字数据集Mnist。在根据网课导入数据集Mnist时发生报错。
机器学习之sklearn使用下载MNIST数据集进行分类识别
qq_41133375的博客
04-28 1万+
机器学习之sklearn使用下载MNIST数据集进行分类识别一、MNIST数据集1.MNIST数据集简介2.获取MNIST数据集二、训练一个二分类器1、随机梯度下降（SGD）分类器2、分类器的性能考核1.使用交叉验证测量精度2、混淆矩阵3、精度和召回率4、精度/召回率权衡5、ROC曲线6、训练一个随机森林分类器，并计算ROC和ROC AUC分数三、多类别分类器1、错误分析四、多标签分类五、多输出分...
sklearn数据集数字识别
03-14
以下是关于如何使用 `sklearn` 来加载并处理医疗图像数据集（Medical-MNIST）以及进行分类与预测的具体说明。 #### 数据集简介 虽然 `sklearn` 自带的 MNIST 数据集常被用来演示手写数字识别的任务[^1]，但在实际...
把Python代码中加入数据集
05-13
引用[3]展示了使用自定义函数读取MNIST数据集并结合SVM进行分类，还提到了GridSearchCV优化参数。 用户的需求是在Python中引入或加载数据集，可能需要不同的方法，比如使用pandas处理CSV，使用PyTorch的DataLoader...
大数据领域数据挖掘的技术突破
最新发布
大数据洞察的博客
06-15 637
在当今数字化时代，大数据以其海量、多样、快速和高价值密度等特点，成为了各个领域的核心资产。数据挖掘作为从大数据中提取有价值信息的关键技术，其重要性日益凸显。本文的目的在于深入探讨大数据领域数据挖掘的技术突破，包括新的算法、技术架构以及应用场景的拓展。范围涵盖了数据挖掘的各个环节，从数据预处理到模型构建和评估，以及在金融、医疗、零售等多个行业的应用。本文将按照以下结构展开：首先介绍大数据和数据挖掘的核心概念与联系，包括原理和架构；接着详细阐述核心算法原理和具体操作步骤，并用 Python 代码进行示例；
大规模数据集评估技巧：AI模型评估的高效率方法
[大规模数据集评估技巧：AI模型评估的高效率方法](https://i0.hdslb.com/bfs/article/banner/c9b763bca195314f875cf63a53fb3c388e82289e.png) # 1. AI模型评估的理论基础 ## 1.1 评估模型性能的重要性 评估模型性能...
MNIST数据集
09-03
解压4个gz文件放到data文件夹下，可跳过train_mnist.py中的下载部分，分别是： 训练集图片 - 55000 张 训练图片, 5000 张 验证图片 训练集图片对应的数字标签 测试集图片 - 10000 张 图片 测试集图片对应的数字标签
Python学习实践-sklearn分类算法实践-MNIST识别自己的手写数字-V2.0.pdf
10-17
本案例采用 MNIST 数据集对 sklearn 常用的分类算法进行训练，然后用训练后的模型来识别自己手写的数据。本文采用 sklearn 里面最常用的分类 算法: RandomForestClassifier、 KNeighborsClassifier、 SVC、 MultinomialNB作为代表进行分析学习。
SVM算法对MNIST数据集分类
12-24
代码使用matlab编写，压缩包中包含MNIST数据集及其读取函数、SVM算法实现和ReadMe.txt。 SVM算法中使用了PCA降维处理数据减少运行时间，但是由于使用的SMO算法较为原始，运行速度仍然较慢。由于实现未经过任何优化，仅适合初学者使用，使用高斯核正确率在75%以上，有部分注释。请结合ReadMe文件使用。
使用sklearn实现SVM
weixin_44414593的博客
09-16 825
from sklearn.svm import LinearSVC from sklearn.svm import SVC 性感官方，在线文档 性感官方，在线文档 参数 #线性SVC penalty惩罚项l1 or l2，默认l2. loss损失函数的选择，hinge or squared_hinge。 dual是否采用对偶方式求解，默认True。 tol停止迭代的阈值。 C 惩罚系数c,c越大，越容易过拟合，C越小，则泛化能力越强。 multi_class多分类时限方式，‘ovr’, ‘crammer
数据挖掘实战（十）--基于sklearn的SVM使用
bb8886的博客
03-22 2606
数据挖掘实战之svm算法
机器学习基础学习-sklearn中的SVM
小夭的博客
12-14 6851
前言 理论部分参考支持向量机SVM（理论部分） 写代码之前，我们要把数据做标准化处理，因为SVM寻找的是使margin最大的中间的那根线，而我们衡量margin的方式是数据点之间的距离，这里涉及到距离，如果我们的数据点在不同的维度上，量纲不同，那我们对数据的估计是有问题的。 举个例子，下图有四个样本点，两个属于红色类别，两个属于蓝色类别。 如果数据在这两个维度上数据尺度相差过大，例如横轴上范围在（0,1）,纵轴的范围是（0,10000） 此时使用SVM，得到的决策边界如下图所示，此时标记的两个点是我们的
机器学习实战3-sklearn使用下载MNIST数据集进行分类项目
热门推荐
知识搬运工的博客
02-27 2万+
目录 1、MNIST数据集 2、训练一个二元分类器 2.1、随机梯度下降（SGD）分类器 2.2、分类器的性能考核： 2.2.1、混淆矩阵 2.2.2、精度:（我的理解：预测集内，预测正确的比率） 2.2.3、召回率：（我的理解：整个正类样本中，预测正确的样本所占的比率） 2.2.4、精度/召回率权衡 2.2.5、ROC曲线 3、多类别分类器 错误分析 4、多标签分类 5...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值