【阿旭机器学习实战】【20】支持向量机SVM原理简介及示例演示：画出SVM二维决策边界与分离非线性坐标点

最新推荐文章于 2023-12-19 17:26:06 发布
最新推荐文章于 2023-12-19 17:26:06 发布
阅读量1.4k 收藏 20
点赞数
分类专栏： 机器学习实战 文章标签： 支持向量机 SVM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42589613/article/details/127726270
版权

【阿旭机器学习实战】系列文章主要介绍机器学习的各种算法模型及其实战案例，欢迎点赞，关注共同学习交流。

本文介绍了支持向量机SVM的基本原理，并且通过2个示例介绍了SVM二维决策边界的表示方法，以及通过SVM分离非线性坐标点，并绘制轮廓曲线。

目录

支持向量机SVM简介及示例演示

【关键词】支持向量，最大几何间隔，拉格朗日乘子法

1. 支持向量机的原理

支持向量机（Support Vector Machine），其含义是通过支持向量运算的分类器。其中“机”的意思是机器，可以理解为分类器。
那么什么是支持向量呢？在求解的过程中，会发现只根据部分数据就可以确定分类器，这些数据称为支持向量。
见下图，在一个二维环境中，其中点R，S，G点和其它靠近中间黑线的点可以看作为支持向量，它们可以决定分类器，也就是黑线的具体参数。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1ukr2e86-1667787571800)(attachment:1.png)]

2. 解决的问题

  • 线性分类

在训练数据中，每个数据都有n个的属性和一个二类类别标志，我们可以认为这些数据在一个n维空间里。我们的目标是找到一个n-1维的超平面（hyperplane），这个超平面可以将数据分成两部分，每部分数据都属于同一个类别。
其实这样的超平面有很多，我们要找到一个最佳的。因此，增加一个约束条件：这个超平面到每边最近数据点的距离是最大的。也成为最大间隔超平面（maximum-margin hyperplane）。这个分类器也成为最大间隔分类器（maximum-margin classifier）。
支持向量机是一个二类分类器。

  • 非线性分类

SVM的一个优势是支持非线性分类。它结合使用拉格朗日乘子法和KKT条件，以及核函数可以产生非线性分类器。

3. SVM解决问题的步骤

1.SVM的目的是要找到一个线性分类的最佳超平面 f(x)=xw+b=0。求 w 和 b。

2.首先通过两个分类的最近点，找到f(x)的约束条件。

3.有了约束条件，就可以通过拉格朗日乘子法和KKT条件来求解，这时，问题变成了求拉格朗日乘子αi 和 b。

4.对于异常点的情况，加入松弛变量ξ来处理。

非线性分类的问题：映射到高维度、使用核函数。

3.1 线性分类及其约束条件

SVM的解决问题的思路是找到离超平面的最近点，通过其约束条件求出最优解。

在这里插入图片描述

3.2 最大几何间隔（geometrical margin）

在这里插入图片描述

在这里插入图片描述

3.3 求解问题w,b

我们使用拉格朗日乘子法
来求w和b，一个重要原因是使用拉格朗日乘子法后,还可以解决非线性划分问题。
拉格朗日乘子法可以解决下面这个问题：

在这里插入图片描述

消除w之后变为：

在这里插入图片描述

可见使用拉格朗日乘子法后，求w,b的问题变成了求拉格朗日乘子αi和b的问题。
到后面更有趣，变成了不求w了，因为αi可以直接使用到分类器中去，并且可以使用αi支持非线性的情况.

4. 实战示例

1、示例1：画出SVM二维决策边界

import numpy as np
from sklearn.svm import SVC
import matplotlib.pyplot as plt
%matplotlib inline

随机生成一些数据

a = np.random.randn(20,2) + [2,2]
b = np.random.randn(20,2) + [-1,-3]
data = np.concatenate([a,b])
data.shape

(40, 2)

# 将数据点分为2类，一类20个点
target = [0]*20 + [1]*20

plt.scatter(data[:,0],data[:,1],c=target)

<matplotlib.collections.PathCollection at 0x1e4a3106668>

在这里插入图片描述

# 创建支持向量机分类器
svc = SVC(kernel="linear")

svc.fit(data,target)

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape='ovr', degree=3, gamma='auto', kernel='linear',
  max_iter=-1, probability=False, random_state=None, shrinking=True,
  tol=0.001, verbose=False)

# 找到支持向量
sv = svc.support_vectors_
sv

array([[ 0.47403487,  1.35490312],
       [ 2.76462572, -0.35759099],
       [ 0.70116275, -2.38879174]])

# 提取斜率:svc.coef_
# mx + ny + b = 0 ==> ny = -mx - b ==> y = -(m/n)x - b/n
w = -svc.coef_[0,0]/svc.coef_[0,1]
w

-0.747621114673942

# 提取截距:svc.intercept_
b = -svc.intercept_[0]/svc.coef_[0,1]
b

-0.07777143534587211

x = np.linspace(-3,6,100)
# 直线方程
y = w*x + b

plt.scatter(data[:,0],data[:,1],c=target)
plt.scatter(sv[:,0],sv[:,1],c="r",s=300,alpha=0.5)
plt.plot(x,y)

[<matplotlib.lines.Line2D at 0x1e4a0fd2d30>]

在这里插入图片描述

上图中，红色的点表示支持向量，直线表示SVM的决策边界。

2、示例2：SVM分离非线性坐标点

2.1 产生非线性随机点

# 随机产生180个点
data = np.random.randn(180,2)
plt.scatter(data[:,0],data[:,1])

<matplotlib.collections.PathCollection at 0x1e4a4b0fbe0>

在这里插入图片描述

a = np.array([[1,2],[-1,2],[-1,-1],[1,-4]])
target = np.logical_xor(a[:,0]>0,a[:,1]>0)
target

array([False,  True, False,  True])

# 通过异或方式，产生非线性分类目标点
target = np.logical_xor(data[:,0]>0,data[:,1]>0)
target

array([False,  True,  True,  True, False,  True, False, False, False,
        True,  True,  True, False,  True, False,  True,  True, False,
        True,  True, False,  True, False,  True, False,  True, False,
       False, False, False, False, False,  True,  True,  True,  True,
       False, False,  True, False,  True,  True,  True, False,  True,
        True,  True, False,  True, False, False,  True, False,  True,
        True,  True, False,  True, False, False, False, False,  True,
        True, False,  True,  True, False, False, False,  True, False,
       False,  True, False,  True, False,  True,  True, False, False,
        True,  True, False,  True, False, False, False,  True, False,
       False, False, False,  True,  True, False, False,  True,  True,
       False,  True, False, False,  True, False,  True, False, False,
       False, False,  True,  True,  True,  True, False,  True,  True,
        True, False,  True,  True,  True, False,  True,  True, False,
       False,  True, False,  True,  True,  True,  True, False,  True,
        True,  True,  True, False,  True,  True,  True, False, False,
       False,  True,  True,  True, False, False, False,  True, False,
        True,  True, False,  True, False, False,  True,  True,  True,
        True,  True,  True, False,  True, False,  True, False,  True,
       False,  True,  True,  True, False,  True, False,  True, False])

np.logical_xor的作用示例
a = np.array([[1,2],[-1,2],[-1,-1],[1,-4]])
target = np.logical_xor(a[:,0]>0,a[:,1]>0)
target结果为：array([False, True, False, True])

plt.scatter(data[:,0],data[:,1],c=target)

在这里插入图片描述

2.2 构建SVM模型并训练

svc = SVC() # SVC的核函数默认为rbf，基于半径的核函数
svc

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape='ovr', degree=3, gamma='auto', kernel='rbf',
  max_iter=-1, probability=False, random_state=None, shrinking=True,
  tol=0.001, verbose=False)

svc.fit(data,target)

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape='ovr', degree=3, gamma='auto', kernel='rbf',
  max_iter=-1, probability=False, random_state=None, shrinking=True,
  tol=0.001, verbose=False)

2.3 绘制轮廓曲线

# 确定轮廓曲线的范围
xx,yy = np.meshgrid(np.linspace(-3,3,500),np.linspace(-3,3,500))

xy = np.c_[xx.ravel(),yy.ravel()]

xy.shape

(250000, 2)

# 求测试点到分割超平面之间的距离
distances = svc.decision_function(xy)
distances.shape

(250000,)

plt.contour(xx,yy,distances.reshape(xx.shape),cmap="PuOr_r")
plt.scatter(data[:,0],data[:,1],c=target)

<matplotlib.collections.PathCollection at 0x1e4a46c2518>

在这里插入图片描述
如果内容对你有帮助，感谢记得点赞+关注哦！

欢迎关注我的公众号:阿旭算法与机器学习，共同学习交流。
更多干货内容持续更新中…

阿_旭
关注
  • 0
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
线性分类器设计
08-04
对“data1.m”数据，分别采用感知机算法、最小平方误差算法、线性SVM算法设计分类器，分别画出决策面，并比较性能。（注意讨论算法中参数设置的影响。）
感知机算法_最小平方误差算法_线性SVM算法设计分类器_画出决策面_比较性能_matlab
03-19
【达摩老生出品，必属精品，亲测校正，质量保证】 资源名：感知机算法_最小平方误差算法_线性SVM算法设计分类器_画出决策面_比较性能_matlab 资源类型：matlab项目全套源码 源码说明： 全部项目源码都是经过测试校正后百分百成功运行的，如果您下载后不能运行可联系我进行指导或者更换。 适合人群：新手及有一定经验的开发人员
基于matlab实现的分别采用感知机算法、最小平方误差算法、线性SVM算法设计分类器，分别画出决策面，并比较性能 .rar
最新发布
05-02
基于matlab实现的分别采用感知机算法、最小平方误差算法、线性SVM算法设计分类器，分别画出决策面，并比较性能。.rar
机器学习课程设计-面向电信行业存量用户的智能套餐个性化匹配模型，基于SVM 、随机森林、LigthGBM
06-21
一．项目概述及计划 1.项目概述 此题利用已有的用户属性(如个人基本信息、用户画像信息等)、终端属性(如终端品牌等)、业务属性、消费习惯及偏好匹配用户最合适的套餐，对用户进行推送，完成后续个性化服务，是一个多分类任务。 因此我们在具体实现的过程中需要向机器学习中处理分类问题的模型上考虑，包括向量机、决策树等。 2.项目计划 首先对赛题进行标签化的分析：问题分析、数据分析预处理、分类预测、回归分析，根据这些信息数据建立特征工程，大致预测需要使用的模型与相关算法。使用 SVM 进行测试，根据测试情况考虑改用其它相关算法。比如用决策树、随机森林和 LightGBM 等对模型进行优化，最终获得结果。在实现不同模型的过程中进行深入的探究，项目课题包括：对特征选择的思考，相关系数在这次的任务中是否合适，按照不同service_type 的预测结果的差距等内容。 二．问题描述 1.赛题简介 电信产业作为国家基础产业之一，覆盖广、用户多，在支撑国家建设和发展方面尤为重要。随着互联网技术的快速发展和普及，用户消耗的流量也成井喷态势，近年来，电信运营商推出大量的电信套餐用以满足用户的差异化需求，面对种类
Svm的例子可以多看看
12-12
不错的SVM例子，可以好好学习下，刚从校网上下的。
SVM支持向量机
beichen0518的博客
06-28 955
支持向量机SVM（Support Vector Machine） 【关键词】支持向量，最大几何间隔，拉格朗日乘子法 一、支持向量机的原理 Support Vector Machine。支持向量机，其含义是通过支持向量运算的分类器。其中“机”的意思是机器，可以理解为分类器。 那么什么是支持向量呢？在求解的过程中，会发现只根据部分数据就可以确定分类器，这些数据称为支持向量。 见下图，...
SVM算法的介绍
Despicable_Me的博客
06-03 7657
SVM（Support Vector Machine）是一种常见的监督学习算法，用于进行二分类或多分类任务。它的主要思想是找到一个最优的超平面，将不同类别的样本分隔开。超平面最大间隔介绍：上左图显示了三种可能的线性分类器的决策边界：虚线所代表的模型表现非常糟糕，甚至都无法正确实现分类。其余两个模型在这个训练集上表现堪称完美。但是它们的决策边界与实例过于接近，导致在面对新实例时，表现可能不会太好。右图中的实线代表SM分类器的决策边界，不仅分离了两个类别，且尽可能远离最近的训练实例。
SVM案例
Kyrie_Irving的博客
05-21 3666
1 原理概述 今天，我们将基于我们已经学过的理论，开始对核函数性质的探索。支持向量机分类器，是在数据空间中找出一个超平面作为决策边界，利用这个决策边界来对数据进行分类，并使分类误差尽量小的模型。决策边界是比所在数据空间小一维的空间，在三维数据空间中就是一个平面，在二维数据空 间中就是一条直线。 平行于决策边界的两条虚线是距离决策边界相对距离为1的超平面，他们分别压过两类样本中距离决策边界最近的样...
支持向量机SVM学习——最优化问题、正则化
m0_58700887的博客
07-08 1327
支持向量机SVM学习——最优化问题、正则化
python机器学习之SVM（支持向量机）实例
热门推荐
柳小葱的博客
04-12 1万+
其实在很早以前写过一期SVM,只不过当时对SVM只是初步的了解，现在重新来看，其实SVM还是有很多值得学习的地方。 1.SVM介绍 SVM可以理解为：使用了支持向量的算法，支持向量机是一种基于分类边界分界的方法。以二维数据为例，如果训练数据分布在二维平面上的点，它们按照其分类聚焦在不同的区域。基于分类边界的分类算法的目标：通过训练，找到这些分类之间的边界（如果是直线的，称为线性划分，如果是曲线的，称为非线性划分）。 过程如上述三个图，SVM就是试图把棍放在最佳的位置上，最好让棍两边有尽可能大的间隙，这
非线性SVM算法－matlab实现
05-13
对“data3.m”数据，用其中一半的数据采用非线性SVM算法设计分类器并画出决策面，另一半数据用于测试分类器性能。比较不同核函数的结果。（注意讨论算法中参数设置的影响。） 来自课程设计，附上matlab源代码，可以成功调试出来。
【阿旭机器学习实战】【30】二手车估价案例--KNN回归问题(1).zip
12-13
【阿旭机器学习实战】【30】二手车估价案例--KNN回归问题(1).zip
Oriperproject:Oriper 原创交流平台专案
04-29
已完成的Wireframe，大感谢阿旭： 前言： 希望各位爱护这里，请勿引爆，我把我知道的都尽量放这里了，请尽量帮忙修正 如果有任何问题或讨论，可善用这里，如果需要我回答而我消失了请直接敲我，但当然有更好想法请...
网络安全及网络设备管理B.topo
12-22
网络安全及网络设备管理B.topo
网络安全及网络设备管理A.topo
12-22
网络安全及网络设备管理A.topo
大学生勤工助学平台设计与管理.zip
06-07
勤工助学系统的设计与实现是一个针对校内学生申请勤工助学岗位以及各个环节审核的信息管理系统。系统的搭建是基于ASP.NET技术的，并把SQL Server作为数据库来存储数据使用。勤工助学系统的设计与实现包括了教师端和...
【机器学习】SVM
小马日记
09-08 208
本文主要基于最大间隔的假设，用简单的数学推出SVM本质的过程。着重点在SVM模型的设计思路上（模型角度），不对凸优化进行研究（数学算法角度）。 Key Idea 1： ...
支持向量机SVM
weixin_48235555的博客
12-19 1105
数据集：(X1,Y1)(X2,Y2)…(Xn,Yn)二分类问题：在二分类问题中，Y为样本的类别通常定义为1+11和−1-1−1。1+11表示一个类别，−1-1−1表示另一个类别。SVM 的目标是找到一个超平面，使得两个类别的数据点被正确地分开。多分类问题：对于多分类问题，可以使用一对一（One-vs-One）或一对多（One-vs-All）的策略，将多分类问题转化为多个二分类问题。决策方程在 SVM 中，决策方程基于支持向量和分离超平面定义。给定一个训练数据集x1。
SVM决策边界及损失函数
weixin_41857483的博客
11-04 3585
回顾决策边界 回顾一下前面博客中提到的决策边界，在二维的平面上，决策边界即超平面是一条直线。 现在假设有N个样本点，每个样本点表示为(xi_ii​, yiy_iyi​)，xi_ii​是特征向量。为了便于理解，所以假设每个样本有2个特征，即对于任意一个样本i有： (x1i_{1i}1i​, x2i_{2i}2i​, yi{y_i}yi​)，就表示他们的两个特征值和对应的标签。 接着在二维平面上，将它们表示出来（相当于用x1_{1}1​来表示横坐标，x2_{2}2​表示纵坐标，y{y}y表示类别，图中体现为蓝色
EasyExcel示例
05-31
好的，下面是一个使用EasyExcel进行Excel读写操作的示例代码： 1. 读取Excel文件并输出内容到控制台： ``` public void readExcel(String fileName) { // 构建 ExcelReader 对象 ExcelReader excelReader = null; try { excelReader = EasyExcel.read(fileName).build(); // 构建读取的 Sheet 对象 ReadSheet readSheet = EasyExcel.readSheet(0).build(); // 开始读取数据 excelReader.read(readSheet).forEach(data -> System.out.println(data)); } finally { // 关闭 ExcelReader 对象 if (excelReader != null) { excelReader.finish(); } } } ``` 2. 写入数据到Excel文件： ``` public void writeExcel(String fileName, List<Object> dataList, Class<?> clazz) { // 构建 ExcelWriter 对象 ExcelWriter excelWriter = null; try { excelWriter = EasyExcel.write(fileName, clazz).build(); // 构建写入的 Sheet 对象 WriteSheet writeSheet = EasyExcel.writerSheet().build(); // 写入数据 excelWriter.write(dataList, writeSheet); } finally { // 关闭 ExcelWriter 对象 if (excelWriter != null) { excelWriter.finish(); } } } ``` 以上代码示例演示了如何使用EasyExcel进行Excel的读写操作，其中 `readExcel` 方法演示了如何读取Excel文件并输出内容到控制台，`writeExcel` 方法演示了如何将数据写入到Excel文件中。通过这些示例代码，你可以了解到EasyExcel的基本用法，并可以根据自己的需求进行扩展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿_旭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值