机器学习入门：支持向量机-6

最新推荐文章于 2024-06-11 16:34:50 发布
最新推荐文章于 2024-06-11 16:34:50 发布
阅读量1k 收藏 8
点赞数 2
分类专栏： 人工智能 文章标签： 支持向量机 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jintianzheng/article/details/122157530
版权

机器学习入门：支持向量机

1、实验描述

  • 本实验提供一些人手写的数字图片，并使用SVM 对手写数据集进行识别，并将识别结果用图展示出来。接着再使用交叉验证的方式，寻找算法的最优参数。
  • 实验时长：45分钟
  • 主要步骤：
    • 加载训练数据
    • 加载测试数据
    • 数据集预处理
    • 绘制训练数据、测试数据的灰度图
    • 模型训练
    • 模型的预测
    • 模型评估
    • 使用交叉验证 确定最优参数

2、实验环境

  • 虚拟机数量：1
  • 系统版本：CentOS 7.5
  • scikit-learn版本： 0.19.2
  • numpy版本：1.15.1
  • matplotlib版本：2.2.3
  • python版本：3.5
  • IPython版本：6.5.0

3、相关技能

  • Python编程

  • Scikit-learn编程

  • Matplotlib编程

  • Numpy编程

  • SVM建模

4、相关知识点

  • 支持向量机
  • 特征空间
  • 核空间
  • 交叉验证
  • 模型创建
  • 训练模型
  • 模型预测

5、实现效果

  • 支持向量机对手写数字图片识别效果如下图所示：

在这里插入图片描述

图 1

6、实验步骤

6.1支持向量机概念：

6.1.1假设我们要通过一条线将某个任务分成两类。

6.1.1.1那么有无数多条线可以完成这个任务。

6.1.1.2在SVM中，我们寻找一条最优的分界线使得它到两边的margin都最大。

6.1.1.3在这种情况下处于边缘，能够确定该线的位置的几个数据点，就叫support vector，这也是此分类算法名字的由来。

6.1.2核函数：

6.1.2.1可以使用核函数，将原始输入空间映射到新的特征空间，从而，使得原本线性不可分的样本能在核空间可分。

6.1.2.2常见的核函数：多项式核函数、高斯核RBF函数、Sigmoid核函数。在实际应用中，往往依赖先验领域知识/交叉验证等方案才能选择有效的核函数。若没有更多先验信息时，则使用高斯核函数

6.2进入Anaconda创建的虚拟环境“ML”

6.2.1从zkpk的公共目录下拷贝实验所需的数据文件到zkpk的家目录下

[zkpk@master ~]$ cd
[zkpk@master ~]$ cp /home/zkpk/experiment/optdigits.tra /home/zkpk
[zkpk@master ~]$ cp /home/zkpk/experiment/optdigits.tes /home/zkpk

6.2.2数据集介绍： 该数据来自于43人的手写数字，其中30人的用于训练，另外13 人的用于测试。

6.2.2.1训练集共3823个图片，测试集共1797个图片。

6.2.2.2每个图片为8×8的灰度图像，像素值从0到16，其中，16代表全黑，0代表全亮

6.2.3在zkpk的家目录下执行如下命令

[zkpk@master ~]$ cd
[zkpk@master ~]$ source activate ML
(ML)[zkpk@ master ML]$

6.2.4此时已经进入虚拟环境。键入如下命令，进入ipython交互是编程环境

(ML) [zkpk@ master ML]$ ipython
Python 3.5.4 |Anaconda, Inc.| (default, Nov  3 2017, 20:01:27)
Type 'copyright', 'credits' or 'license' for more information
IPython 6.2.1 -- An enhanced Interactive Python. Type '?' for help.
In [1]:

6.3在Ipython交互式编程环境中开始实验

6.3.1导入实验所需的包

In [1]: import numpy as np
   ...: import pandas as pd
   ...: from sklearn import svm
   ...: import matplotlib.colors
   ...: import matplotlib.pyplot as plt
   ...: from PIL import Image	# PIL: Python image library
   ...: from sklearn.metrics import accuracy_score
   ...: import os
   ...: from sklearn.model_selection import train_test_split
   ...: from sklearn.model_selection import GridSearchCV
   ...: from time import time

6.3.2加载训练集数据

6.3.2.1指定数据分隔符为’,’

In [13]: data = np.loadtxt('optdigits.tra', dtype=np.float, delimiter=',')	# loadtxt方法返回ndarray；dtype参数用于指定返回的数组中元素类型；delimiter指定分割符
    ...: data.shape

在这里插入图片描述

图 2

6.3.2.2读取对应的x, y 标签

In [14]: x, y = np.split(data, (-1, ), axis=1) # split方法将ndarray进行切分；axis=1按纵向将data进行切分；读取数据，最后一列作为标签，赋给y
    ...: x.shape
    ...: y.shape

6.3.2.3将y标签转换成无符号的整形

In [15]: y = y.ravel().astype(np.int)   # ravel方法，将ndarray转换成一个压平的数组；astype将数组所有元素转换成指定的int类型

6.3.2.4查看y中都有哪些标签值

In [16]: np.unique(y)

在这里插入图片描述

图 3

6.3.2.5查看x中唯一的元素有哪些

In [17]: np.unique(x)

在这里插入图片描述

图 4

6.3.2.6将图像重新映射成8*8 大小，

In [21]: images = x.reshape(-1, 8, 8)   # 图像大小映射成8*8
    ...: images.shape

在这里插入图片描述

图 5

6.3.3对测试集做同样的操作

In [22]: print('Load Test Data Start...')
    ...: data = np.loadtxt('optdigits.tes', dtype=np.float, delimiter=',')
    ...: x_test, y_test = np.split(data, (-1, ), axis=1)
    ...: print(y_test.shape)
    ...: images_test = x_test.reshape(-1, 8, 8)
    ...: y_test = y_test.ravel().astype(np.int)
    ...: print('Load Data OK...')

在这里插入图片描述

图 6

6.3.4划分数据集

In [23]: x, x_test, y, y_test = train_test_split(x, y, test_size=0.4, random_state=1)

6.3.5查看训练数据和测试数据的灰度图

In [24]: # 训练数据
    ...: for index, image in enumerate(images[:16]):	# 查看头16个图
    ...:     plt.subplot(4,8,index+1)	# 增加子图，并指定子图在画布中的位置
    ...:     plt.imshow(image, cmap=plt.cm.gray_r,interpolation='nearest')	# imshow方法，展示一张图；interpolation='nearest'使用最邻近插值法
    ...:     plt.title(u'train_images: %i' %y[index])
    ...: 
    ...: # 测试数据
    ...: for index, image in enumerate(images_test[:16]):
    ...:     plt.subplot(4,8,index+17)
    ...:     plt.imshow(image,cmap=plt.cm.gray_r,interpolation='nearest')
    ...:     plt.title(u'test_images: %i' % y_test[index])
    ...:     plt.tight_layout()
    ...: plt.show()

在这里插入图片描述

图 7

6.4使用交叉验证确定模型最优参数

6.4.1定义模型参数字典

6.4.1.1SVM模型有两个非常重要的参数C与gamma。其中C是惩罚系数，即对误差的宽容度。C越高，说明越不能容忍出现误差,容易过拟合。C越小，容易欠拟合。C过大或过小，都会导致泛化能力变差

6.4.1.2gamma是选择RBF函数作为kernel后，该函数自带的一个参数。决定了数据映射到新的特征空间后的分布，gamma越大，支持向量越少，gamma值越小，支持向量越多。支持向量的个数影响训练与预测的速度。

In [31]: params = {'C':np.logspace(0, 3, 7), 'gamma':np.logspace(-5, 0, 11)}	# logspace方法创建等比数列

6.4.2使用GridSearchCV构建模型

6.4.2.1使用‘rbf’kernel，使用3折交叉验证。

In [32]: model = GridSearchCV(svm.SVC(kernel='rbf'), param_grid=params, cv=3)

6.4.3使用模型训练

6.4.3.1在训练集上使用模型训练

In [33]: print ('Start Learning...')
    ...: t0 = time()
    ...: model.fit(x, y)
    ...:

在这里插入图片描述

图 8

6.4.3.2打印训练的相关信息

In [35]: t1 = time()
    ...: t = t1 - t0
    ...: print ('训练+CV耗时：%d分钟%.3f秒' % (int(t/60), t - 60*int(t/60)))

在这里插入图片描述

图 9

6.4.3.3打印模型最优参数

In [36]: print ('最优参数：\t', model.best_params_)

在这里插入图片描述

图 10

6.5对模型进行评估

In [37]: print ('Learning is OK...')
    ...: print ('训练集准确率：', accuracy_score(y, model.predict(x)))
    ...: y_hat = model.predict(x_test)
    ...: print ('测试集准确率：', accuracy_score(y_test, model.predict(x_test)))
    ...: print (y_hat)
    ...: print (y_test)

在这里插入图片描述

图 11

7、参考答案

  • 代码清单svm_case.py

在这里插入图片描述

图 12

8、总结

完成本次实验，需要了解、掌握关于支持向量机的相关知识，以及动手编程。实验最后，我们通过GridSearchCV搜索模型的最优参数，使得模型的精度得到提升。在自己做的时候，可以配置不同的参数字典获得模型的最优参数。同样，本实验涉及大量代码编程，需要大家多动手编程，有不理解的方法、类能够自行查阅相关api文档解决。

JTZ001
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
A.机器学习入门算法（四）: 基于支持向量机的分类预测
丨汀、的博客
03-23 775
SVM优缺点优点有严格的数学理论支持，可解释性强，不依靠统计方法，从而简化了通常的分类和回归问题；能找出对任务至关重要的关键样本（即：支持向量）；采用核技巧之后，可以处理非线性分类/回归任务；最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾难”。缺点训练时间长。当采用SMO 算法时，由于每次都需要挑选一对参数，因此时间复杂度为ON2O(N^2)ON2，其中NNN为训练样本的数量；
机器学习SVM(支持向量机)实验报告(带源代码)
10-27
完整的实现了机器学习算法——支持向量机（SVM），同时通过交叉验证求解最优C值
机器学习入门-支持向量机
CallMeSP的博客
07-24 339
基本定义 给定一个训练样本集，分类学习最基本的想法就是基于训练集Ｄ在样本空间中找到一个划分超平面，将不同的类别的样本分开。这个划分超平面越鲁棒，对未见示例的泛化能力就越强。划分超平面可通过如下线性方程来描述。WTX+b=0WTX+b=0 W^{T}X+b=0其中w=(w1;w2;...;wd)w=(w1;w2;...;wd)w=(w_{1};w_{2};...;w_{d})是法向量，决定了超...
支持向量机 实验
flashster的博客
06-11 733
支持向量机（Support Vector Machine, SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。SVM使用铰链损失函数计算经验风险并在求解系统中加入了正则化项以优化结构风险，是一个具有稀疏性和稳健性的分类器。SVM可以通过核方法进行非线性分类，是常见的核学习方法之一。优势：1、适用性广泛2、可避免陷入局部最优解，具有较低的泛化误差3、高维空间有效4、可控制的过拟合劣势：1、计算复杂度高，训练时间较长2、参数选择敏感。
支持向量机（SVM）
weixin_34315485的博客
02-14 147
断断续续看了好多天，赶紧补上坑。 感谢july的 http://blog.csdn.net/v_july_v/article/details/7624837/ 以及CSDN上淘的比较正规的SMO C++ 模板代码。~LINK~   1995年提出的支持向量机（SVM）模型，是浅层学习中较新代表，当然Adaboost更新一点。 按照Andrew NG的说法: "SVM的效果大概相当于调整最...
【一起啃书】《机器学习》第六章 支持向量机
xtcc的博客
05-04 1575
  给定训练样本集D={(x1,y1),(x2,y2),...,(xm,ym)},yi∈{−1,+1}D = \{ ({x_1},{y_1}),({x_2},{y_2}),...,({x_m},{y_m})\} ,{y_i} \in \{ - 1, + 1\}D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)},yi​∈{−1,+1}，分类学习最基本的想法就是基于训练集DDD在样本空间中找到一个划分超平面，将不同类别的样本分开，但能将训练样本分开的划分超平面可能有很多，如下所示：  
机器学习（六）支持向量机（SVM）
weixin_52833736的博客
12-18 2969
支持向量机
机器学习5-支持向量机
柳杰的博客
09-16 295
文章目录1.线性可分支持向量机-SVM1）几何间隔、函数间隔、目标函数2）拉格朗日乘子法求解带有等式约束的问题3）拉格朗日乘子法求解带有不等式约束的极值问题、KKT条件4)SVM目标函数求解5.SVM求解举例 1.线性可分支持向量机-SVM 1）几何间隔、函数间隔、目标函数 同一条直线(系数成倍的放大、缩小)的几何间隔相同，但函数间隔会不同 2）拉格朗日乘子法求解带有等式约束的问题 3）拉格朗日乘子法求解带有不等式约束的极值问题、KKT条件 如果不等式约束是大于0或者大于等于0，则必须先转换成小
机器学习5---支持向量机
aBIT_Tu的博客
09-10 464
1. 线性可分的支持向量机 1.1 支持向量机（SVM）基本型 对于给定的在样本空间中线性可分的训练集，我们有多重办法对其进行划分，以二分类问题为例，如图： 红线和黑线（超平面）都能将两类样本很好的划分开，但是当新样本进入时，黑线比红线更加有可能正确划分新的样本，换句话说：越位于两类样本“中心”的划分超平面越能够容忍样本的局部扰动，其的泛化能力越好。 基于以上思想，我们准备求解最优超平...
机器学习理论知识 机器学习基础入门教程 6 支持向量机（共29页）.pptx
12-18
支持向量机（Support Vector Machine，SVM）是机器学习领域的一种重要算法，尤其在分类和数值预测任务中表现出色。该理论起源于Vapnik和Chervonenkis在20世纪60年代的统计学习理论。SVM的主要特点是训练可能较慢，但...
南大出品 机器学习基础入门教程 机器学习导论 第06章 支持向量机 共24页.pdf
最新发布
07-18
### 南大出品 机器学习基础入门教程：支持向量机 #### 一、支持向量机概述 支持向量机（Support Vector Machine, SVM）是一种广泛应用于分类和回归问题的强大机器学习方法。其核心思想在于寻找一个最优的决策边界...
Matlab与机器学习入门 进阶与提高06 支持向量机（Support Vector Machine, SVM）.zip
07-28
总之，“Matlab与机器学习入门 进阶与提高06 支持向量机（Support Vector Machine, SVM）”这个课程将带你深入探索SVM的世界，通过Matlab实践，让你能够灵活运用这一强大的机器学习工具。无论你是初学者还是希望提升...
机器学习入门：梯度下降法.rar
07-01
本资源"机器学习入门：梯度下降法.rar"显然是针对初学者设计的一套教程，由BAT（百度、阿里巴巴、腾讯）算法工程师倾力讲解，旨在帮助你轻松掌握这一核心概念。 **梯度下降法的基本原理：** 梯度下降法是寻找函数...
利用支持向量机对六维数据可视化
weixin_43111317的博客
04-28 624
1、利用t-sne降维可视化，即基于t分布的随机近邻嵌入。 2、从高维空间降低到低维空间的问题：会发生数据拥挤问题，即假如高维空间中有多个点相互等距，而二维空间中最多只有3个点等距，这样降维肯定不会保证距离的保留。同时会发现在高维空间中的均匀分布的点其距离也不是很均匀，所以需要解决该问题，才能使类与类之间分开。 解决：在高维空间中较近的点在低维空间中将会更近，而较远的点将会更远，这样就能有效缓解拥挤问题https://zhuanlan.zhihu.com/p/47773001。 t-sne python代码
python支持向量机实验_Python SVM(支持向量机)实现方法完整示例
weixin_29796905的博客
02-04 1393
本文实例讲述了python SVM(支持向量机)实现方法。分享给大家供大家参考，具体如下：运行环境 Pyhton3 numpy(科学计算包) matplotlib(画图所需，不画图可不必)计算过程st=>start: 开始e=>end: 结束op1=>operation: 读入数据op2=>operation: 格式化数据cond=>condition: 是否达到迭代...
支持向量机分类实验
哪有什么合适不合适的博客
11-02 753
一、实验要求 在计算机上验证和测试莺尾花数据的支持向量机分类实验，sklearn的支持向量机分类算法。 二、实验目的 1、掌握支持向量机的原理 2、能够理解支持向量机分类算法； 3、掌握sklearn的支持向量机分类算法； 三、实验内容 实验步骤 1.请参考LinearSVC.pdf文档，将莺尾花的数据替换为make_blobs自动生成两个测试数据集（一个是两个类别数据完全分离，另一个是两个类别数据有很少部分的交叉），对比KNN,贝叶斯，决策树，随机森林还有LinearSVC的分界边界线的区别。 数据集：
支持向量机（数学建模）
asd14111的博客
08-10 960
例：对于若干学生，给定指定的身高体重和头发长度以及是否化妆标准(0为不化妆，1为化妆)，现在给出一个人的这四项指标，让你来判断是男是女； a1矩阵为给定的男生的四项指标初始值为a1=[178 60 4 0;175 62 5 0;168 60 3 0;182 68 2 0]; a2矩阵为给定的女生的四项指标初始值为a2=[160 50 14 1;162 52 15 1;158 45 1...
第29步 机器学习分类实战：支持向量机（SVM）建模
qq_30452897的博客
04-27 1435
支持向量机（SVM）建模。
LIBSVM入门：支持向量机理论与实战演示
"LIBSVM简介和支持向量机入门PPT主要介绍了支持向量机(Support Vector Machine, SVM)这一强大的机器学习算法的基本概念和原理。首先，它回顾了SVM的理论基础，指出传统的统计模式识别方法在处理有限样本时可能存在过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JTZ001

你的鼓励是我创作的最大动力？

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值