SVM支持向量机_案例：手写数字分类

已于 2023-09-26 13:47:31 修改
阅读量175 收藏 2
点赞数
文章标签： 分类 数据挖掘 人工智能
于 2023-09-14 08:35:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68462260/article/details/132868373
版权
本文介绍了使用Python进行手绘数字图像识别的过程，包括数据导入、特征值和目标值提取、数据归一化、数据集分割、PCA特征降维、SVM模型训练以及通过PCA优化模型以提高准确率。最终确定了最优模型参数并展示了模型性能。
摘要由CSDN通过智能技术生成

目录

数据介绍

数据⽂件train.csv和test.csv包含从0到9的⼿绘数字的灰度图像。

  • 每个图像的⾼度为28个像素，宽度为28个像素，总共为784个像素。
  • 每个像素具有与其相关联的单个像素值，指示该像素的亮度或暗度，较⾼的数字意味着较暗。该像素值是0到255之间的 整数，包括0和255。
  • 训练数据集（train.csv）有785列。第⼀列称为“标签”，是⽤户绘制的数字。其余列包含关联图像的像素值。

导入模块

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
from sklearn.model_selection import train_test_split

import warnings
warnings.filterwarnings('ignore')

获取数据

train = pd.read_csv("./data/train.csv")

train.head()
labelpixel0pixel1pixel2pixel3pixel4pixel5pixel6pixel7pixel8...pixel774pixel775pixel776pixel777pixel778pixel779pixel780pixel781pixel782pixel783
01000000000...0000000000
10000000000...0000000000
21000000000...0000000000
34000000000...0000000000
40000000000...0000000000

5 rows × 785 columns

train.shape

(42000, 785)

确定特征值\目标值

train_image = train.loc[:, 'pixel0':]

train_image.head()
pixel0pixel1pixel2pixel3pixel4pixel5pixel6pixel7pixel8pixel9...pixel774pixel775pixel776pixel777pixel778pixel779pixel780pixel781pixel782pixel783
00000000000...0000000000
10000000000...0000000000
20000000000...0000000000
30000000000...0000000000
40000000000...0000000000

5 rows × 784 columns

train_label = train.loc[:, 'label']

train_label.head()

0 1
1 0
2 1
3 4
4 0
Name: label, dtype: int64

查看具体图像

num = train_image.loc[0,].values.reshape(28, 28) # 取第一个图像
num

array([[  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0,   0,   0,   0,   0,   0, 188, 255,  94,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0,   0,   0,   0,   0, 191, 250, 253,  93,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0,   0,   0,   0, 123, 248, 253, 167,  10,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0,   0,   0,  80, 247, 253, 208,  13,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0,   0,  29, 207, 253, 235,  77,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0,  54, 209, 253, 253,  88,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,  93, 254, 253, 238, 170,  17,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
         23, 210, 254, 253, 159,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,  16,
        209, 253, 254, 240,  81,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,  27,
        253, 253, 254,  13,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,  20, 206,
        254, 254, 198,   7,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0, 168, 253,
        253, 196,   7,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,  20, 203, 253,
        248,  76,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,  22, 188, 253, 245,
         93,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0, 103, 253, 253, 191,
          0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,  89, 240, 253, 195,  25,
          0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,  15, 220, 253, 253,  80,   0,
          0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,  94, 253, 253, 253,  94,   0,
          0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,  89, 251, 253, 250, 131,   0,
          0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0, 214, 218,  95,   0,   0,
          0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0],
       [  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0]])

plt.imshow(num)
plt.axis("off")
plt.show()

在这里插入图片描述

def to_plot(n):
    num = train_image.loc[n,].values.reshape(28, 28)
    
    plt.imshow(num)
    plt.axis("off")
    plt.show()

to_plot(n=40)

在这里插入图片描述

数据基本处理

train_image.head()
pixel0pixel1pixel2pixel3pixel4pixel5pixel6pixel7pixel8pixel9...pixel774pixel775pixel776pixel777pixel778pixel779pixel780pixel781pixel782pixel783
00000000000...0000000000
10000000000...0000000000
20000000000...0000000000
30000000000...0000000000
40000000000...0000000000

5 rows × 784 columns

数据归一化处理

# 对数据特征值归一化处理
train_image = train_image.values / 255

train_label = train_label.values

数据集分割

x_train, x_val, y_train, y_val = train_test_split(train_image, train_label, train_size = 0.8, random_state=0)

print(x_train.shape, x_val.shape)

(33600, 784) (8400, 784)

特征降维和模型训练

import time
from sklearn.decomposition import PCA

# 多次使用pca,确定最后的最优模型

def n_components_analysis(n, x_train, y_train, x_val, y_val):
    # 记录开始时间
    start = time.time()
    
    # pca降维实现
    pca = PCA(n_components=n)
    print("特征降维,传递的参数为:{}".format(n))
    pca.fit(x_train)
    
    # 在训练集和测试集进行降维
    x_train_pca = pca.transform(x_train)
    x_val_pca = pca.transform(x_val)
    
    # 利用svc进行训练
    print("开始使用svc进行训练")
    ss = svm.SVC()
    ss.fit(x_train_pca, y_train)
    
    # 获取accuracy结果
    accuracy = ss.score(x_val_pca, y_val)
    
    # 记录结束时间
    end = time.time()
    print("准确率是:{}, 消耗时间是:{}s".format(accuracy, int(end-start)))
    
    return accuracy 

# 传递多个n_components,寻找合理的n_components:

n_s = np.linspace(0.70, 0.85, num=5)
accuracy = []

for n in n_s:
    tmp = n_components_analysis(n, x_train, y_train, x_val, y_val)
    accuracy.append(tmp)

特征降维,传递的参数为:0.7
开始使用svc进行训练
准确率是:0.9761904761904762, 消耗时间是:8s
特征降维,传递的参数为:0.7374999999999999
开始使用svc进行训练
准确率是:0.9779761904761904, 消耗时间是:8s
特征降维,传递的参数为:0.7749999999999999
开始使用svc进行训练
准确率是:0.9783333333333334, 消耗时间是:10s
特征降维,传递的参数为:0.8125
开始使用svc进行训练
准确率是:0.9798809523809524, 消耗时间是:12s
特征降维,传递的参数为:0.85
开始使用svc进行训练
准确率是:0.9803571428571428, 消耗时间是:14s

# 准确率可视化展示
plt.plot(n_s, np.array(accuracy), "r")
plt.show()

在这里插入图片描述

经过图形展示,选择合理的n_components, 最后综合考虑确定结果为:0.80

确定最优模型

pca = PCA(n_components=0.80) # 降维

pca.fit(x_train)
pca.n_components_

43

x_train_pca = pca.transform(x_train)
x_val_pca = pca.transform(x_val)

print(x_train_pca.shape, x_val_pca.shape)

(33600, 43) (8400, 43)

# 训练比较优的模型,计算accuracy

ss1 = svm.SVC()

ss1.fit(x_train_pca, y_train)

ss1.score(x_val_pca, y_val)

0.979047619047619

¥骁勇善战¥
关注
手写体数字字符识别-SVM 掌握支持向量机分类算法
08-20
在机器学习领域，支持向量机（Support Vector Machine，简称SVM）是一种高效且广泛应用的监督学习算法，尤其适用于小规模高维度数据的分类。在本实验中，我们将利用SVM来实现手写体数字字符的识别，这个任务是通过...
支持向量机&鸢尾花Iris数据集的SVM线性分类练习
执迷不悟
03-18 1万+
支持向量机&鸢尾花Iris数据集的SVM线性分类练习摘要一、SVM基础1、三种支持向量机2、非线性支持向量机二、鸢尾花实例1、认识鸢尾花三、总结与参考资料1、总结2、参考资料 摘要 鸢尾花Iris数据集的SVM线性分类练习 一、SVM基础 有关SVM的详细知识，大家可以参考这篇文章： 【ML】支持向量机（SVM）从入门到放弃再到掌握. 1、三种支持向量机 一般支持向量机可以分为三类：线性可分支持向量机（support vector machine in linearly separable
支持向量机(support vector machine, SVM)的分类(matlab实现)
配电网和matlab的博客
06-24 8009
需要说明的是，若测试集样本对应的类别标签test_label未知，为了符合函数svmpredict调用格式的要求，随机填写即可，在这种情况下，accuracy便没有具体的意义了，只需关注预测的类别标签predict_label即可。从表中可以清晰地看到，线性核函数和Sigmoid核函数对应的正确率较低，而RBF核函数和多项式核函数对应的训练集预测正确率相当，但从模型的泛化能力考虑，即同时衡量测试集的预测正确率，则RBF核函数对应的模型性能最佳。因此，如前文所述，一般采用默认设置的RBF核函数进行建模。
支持向量机模型（超详细，含案例代码）
JiaYu的博客
12-12 8120
支持向量机（Support Vector Machine，SVM）是一种在机器学习领域中用于分类和回归分析的强大算法。它是一种监督学习算法，其目标是在特征空间中找到一个超平面，将不同类别的数据点分开，同时最大化分类边界的间隔。SVM 的基本思想是找到能够有效划分数据的超平面，即在高维空间中的一个（d-1）维子空间，其中 d 是特征的数量。为了找到这个最佳的超平面，SVM 使用支持向量，即离超平面最近的一些数据点。这些支持向量决定了超平面的位置和方向。
SVM支持向量机+实例展示
Snippers的博客
08-05 3万+
一、SVM简介 SVM定义：支持向量机（英语：support vector machine，常简称为SVM，又名支持向量网络）是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给两个类别之一的模型，使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点，这样映射就使得单独...
支持向量机（SVM）案例分析
m0_37228052的博客
09-18 3160
支持向量机（support vector machines, SVM）是一种二分类模型，所谓二分类模型是指比如有很多特征（自变量X）对另外一个标签项（因变量Y）的分类作用关系，比如当前有很多特征，包括身高、年龄、学历、收入、教育年限等共5项，因变量为‘是否吸烟’，‘是否吸烟’仅包括两项，吸烟和不吸烟。
SVM（支持向量机）案例&项目源码.zip
06-20
**支持向量机（Support Vector Machine，简称SVM）**是一种强大的监督学习算法，广泛应用于分类和回归问题。它的核心思想是找到一个最优超平面，将不同类别的数据尽可能地分开，同时最大化两类数据点之间的间隔。SVM...
SVM（支持向量机）案例&项目资源.docx
最新发布
06-21
### 支持向量机（SVM）案例与项目资源详解 #### 1. 基本概念 **1.1 支持向量** - **定义**：支持向量是指那些位于决策边界边缘的数据点。 - **作用**：这些点在确定决策边界时起到决定性的作用。换句话说，如果...
SVM.rar_SVM 数字_SVM手写识别_svm 手写识别_数字识别 SVM
09-19
SVM（Support Vector Machine，支持向量机）是一种在机器学习领域广泛应用的监督学习模型，尤其在分类和回归任务上表现出色。这个“SVM.rar”压缩包包含了两个与SVM手写数字识别相关的MATLAB文件——“yunchou1.m”...
【机器学习】支持向量机SVM及实例应用
热门推荐
gogo小Sa的专栏
05-29 7万+
【机器学习】支持向量机1.分类超平面与最大间隔       上图是一个关于机器学习算法的时间线来自于Eren Golge。可以看出SVM旺盛的生命力。实际上，即使是深度学习非常火热的今天，SVM依然盛行。在一些小样本分类问题上，SVM表现非常好，用深度学习模型可能反而会使问题变得更复杂。    下面开始介绍SVM--支持向量机。1.分类超平面与最大间隔    给定训练样本集 D ={ (X1 ,Y...
Python实现支持向量机SVM分类模型(SVC算法)并应用网格搜索算法调优项目实战
胖哥真不错的博客
09-18 4904
Python实现支持向量机SVM分类模型(SVC算法)并应用网格搜索算法调优项目实战
机器学习之多分类问题的支持向量机—基于python
qq_45856698的博客
04-02 3139
​本期使用UCIMachine Learning Repository 的液体超声波流量计（liquid ultrasonic flowmeter）数据Meter_D.csv，进行多分类问题的SVM估计。其中V44为响应变量，表示流量计的四种不同状态（1为Healthy，2为Gas injection，3为Installation effects，4为Waxing）。V1-V43为流量计的一系列度量指标，均为数值型变量。研究目的是根据这些指标判断流量计的质量状况。 ​
支持向量机（SVM)与案列讲解（Python 实现案列）
A496608119的博客
03-27 5396
1. SVM算法简介 1.1 SVM 算法导入 在很久以前的情⼈节， ⼤侠要去救他的爱⼈， 但魔⻤和他玩了⼀个游戏。 魔⻤在桌⼦上似乎有规律放了两种颜⾊的球， 说： “你⽤⼀根棍分开它们？ 要求： 尽量在放更多球之后， 仍然适⽤。 ” 于是⼤侠这样放， ⼲的不错？ 然后魔⻤， ⼜在桌上放了更多的球， 似乎有⼀个球站错了阵营。 怎么办？ ？ 把分解的⼩棍⼉变粗。SVM就是试图把棍放在最佳位置， 好让在棍的两边有尽可能⼤的间隙。 现在即使魔⻤放了更多的球， 棍仍然是⼀个好的分界线 然后， 在S
支持向量机的多类别分类：算法实现与实际案例
程序员光剑
01-07 1323
1.背景介绍 支持向量机(Support Vector Machine，SVM)是一种常用的机器学习算法，主要应用于二分类和多类别分类问题。在过去的几年里，SVM在计算机视觉、自然语言处理、生物信息等领域取得了显著的成果。本文将从以下几个方面进行阐述： 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体代码实例和详细解释说明 未来发展趋势与挑战 附录常见问题与...
实践 | 支持向量机实现分类
jiangti_ng的博客
03-21 2508
本实践使用SVM算法实现鸢尾花的分类
【机器学习】支持向量机SVM | python实现 | 分类问题
weixin_46274756的博客
09-01 2640
SVM实现分类问题
机器学习-模式识别（6）SVM支持向量机实现MNIST手写体数据集分类
qq326076079的博客
06-08 2884
机器学习-matlab实现SVM支撑向量机对手写体数据集mnist的分类
支持向量机SVM的多分类的matlab实现(附手写数字例子)
qq_38763477的博客
10-15 1889
本文介绍了支持向量机SVM的多分类实现,并利用手写数字数据集为例进行了matlab实现
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

¥骁勇善战¥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值