机器学习--支持向量机

最新推荐文章于 2023-12-18 21:56:42 发布
最新推荐文章于 2023-12-18 21:56:42 发布
阅读量207 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46343199/article/details/108223984
版权
支持向量机
1.简单介绍

支持向量机（Support Vector Machine，SVM） 是一个非常优雅的算法，具有非常完善的数学理论，常用于数据分类，也可以用于数据的回归预测中，由于其其优美的理论保证和利用核函数对于线性不可分问题的处理技巧，在上世纪90年代左右，SVM曾红极一时。

SVM原理与公式推导参考：支持向量机（非常详细）

2.Demo实践（python）
  • Step1 模型参数查看
# 导入基础函数库
import numpy as np

# 导入svm模型
from sklearn import svm

# 导入画图库
import seaborn as sns
import matplotlib.pyplot as plt

# 构造数据集
x_fearures = np.array([[-1,-2],[-2,-1],[-3,-2],[1,3],[2,1],[3,2]])
y_label = np.array([0,0,0,1,1,1])

# 调用svc模型（支持向量机分类）
svc=svm.SVC(kernel='linear')

# 用svm模型拟合构造的数据集
svc = svc.fit(x_fearures,y_label)

# 查看其对应模型的 w
print(r'the weight of svm:',svc.coef_)

# 查看其对应模型的 w0
print(r'the intercept(w0) of svm:',svc.intercept_)

运行结果：
在这里插入图片描述

  • Step2 模型预测
# 模型预测
y_train_pre = svc.predict(x_fearures)
print(r'the prediction result:',y_train_pre)

运行结果：
在这里插入图片描述

  • Step3 模型可视化
# 最佳函数
x_range = np.linspace(-3, 3)
w = svc.coef_[0]
a = -w[0] / w[1]
y_3 = a*x_range - (svc.intercept_[0]) / w[1]

# 可视化决策边界
plt.figure()
plt.scatter(x_fearures[:,0],x_fearures[:,1], c=y_label, s=50, cmap='viridis')
plt.plot(x_range, y_3, '-c')
plt.show()

运行结果：
在这里插入图片描述

3.支持向量机介绍（python）

对于一些分别属于两个类别的数据，我们有多种方法分开这两类数据，现在需要一个线性分类器，把这两种数据分开来。
以下展示其中两种可能分法。

from sklearn.datasets.samples_generator import make_blobs

# 画图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=60, cmap=plt.cm.Paired)

运行结果：
在这里插入图片描述

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
x_fit = np.linspace(0, 3)

# 画函数
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')
y_2 = -0.3 * x_fit + 3
plt.plot(x_fit, y_2, '-k')

运行结果：
在这里插入图片描述
上面两个分类器哪一个更好呢？
为了判断分类器好坏，我们需要引入一个准则：好的分类器不仅仅是能够很好的分开已有的数据集，还能对未知数据集进行两个的划分。
下面引入一个新的数据点，看哪个分类器能够对新的数据点进行划分。

# 添加一个新数据(3,2.8)，属于红色数据点

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
plt.scatter([3], [2.8], c='#cccc00', marker='<', s=100, cmap=plt.cm.Paired)
x_fit = np.linspace(0, 3)

# 画函数
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')
y_2 = -0.3 * x_fit + 3
plt.plot(x_fit, y_2, '-k')

运行结果：
在这里插入图片描述
可以看到，黑色的线无法正确进行分类，而蓝色的线可以对新数据点进行分类。

上面所举的例子具有一些主观性，为了客观的评判两条线的健壮性，我们要引入一个重要的概念：最大间隔 。
还是以上面两条线为例。

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
x_fit = np.linspace(0, 3)

# 画函数
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')

# 画边距
plt.fill_between(x_fit, y_1 - 0.6, y_1 + 0.6, edgecolor='none', color='#AAAAAA', alpha=0.4)
y_2 = -0.3 * x_fit + 3
plt.plot(x_fit, y_2, '-k')
plt.fill_between(x_fit, y_2 - 0.4, y_2 + 0.4, edgecolor='none', color='#AAAAAA', alpha=0.4)

运行结果：
在这里插入图片描述
可以看到，蓝色线的最大间隔大于黑色线，所以我们会选择蓝色的线作为我们的分类器。

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)

# 画图
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')

# 画边距
plt.fill_between(x_fit, y_1 - 0.6, y_1 + 0.6, edgecolor='none', color='#AAAAAA', alpha=0.4)

运行结果：
在这里插入图片描述

那么，还有没有另外一个分类器，它的最大间隔比蓝色线的最大间隔还大呢？
为了解决这一问题，需要引入SVM（支持向量机）。

from sklearn.svm import SVC

# SVM 函数
clf = SVC(kernel='linear')
clf.fit(X, y)

# 最佳函数
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a*x_fit - (clf.intercept_[0]) / w[1]

# 最大边距 下界
b_down = clf.support_vectors_[0]
y_down = a* x_fit + b_down[1] - a * b_down[0]

# 最大边距 上界
b_up = clf.support_vectors_[-1]
y_up = a* x_fit + b_up[1] - a * b_up[0]

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)

# 画函数
plt.plot(x_fit, y_3, '-c')

# 画边距
plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4)

# 画支持向量
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b',
s=80, facecolors='none')

运行结果：
在这里插入图片描述
带黑边的点是距离当前分类器最近的点，称为支持向量。
支持向量机为我们提供了在众多可能的分类器之间进行选择的原则，从而确保对未知数据集具有更高的泛化性。

然而，在实际情况中，我们拿到的数据大多数是下面这样的。

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)

运行结果：
在这里插入图片描述
在这种情况下，我们不容易找到像刚刚举的例子那样的最大间隔。
于是，我们引入软间隔的概念。相比于硬间隔，软间隔允许个别数据出现在间隔带中。
但是，如果没有一个原则进行约束，满足软间隔的分类器也会出现很多条，所以，需要对分错的数据进行一定的惩罚，在SVC函数中，有一个参数C就是惩罚参数。
惩罚参数越小，容忍性就越大，允许出现在间隔带的点就越多 。

下面以C=1举例：

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)

# 惩罚参数：C=1 
clf = SVC(C=1, kernel='linear')
clf.fit(X, y)

# 最佳函数
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a*x_fit - (clf.intercept_[0]) / w[1]

# 最大边距 下界
b_down = clf.support_vectors_[0]
y_down = a* x_fit + b_down[1] - a * b_down[0]

# 最大边距 上界
b_up = clf.support_vectors_[-1]
y_up = a* x_fit + b_up[1] - a * b_up[0]

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)

# 画函数
plt.plot(x_fit, y_3, '-c')

# 画边距
plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4)

# 画支持向量
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b',
 s=80, facecolors='none')

运行结果：
在这里插入图片描述
再以C=0.2为例，进行对比。C=0.2的分类器相比于C=1的分类器，能够容忍更多的点出现在间隔带中。

X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)

# 惩罚参数：C=0.2 
clf = SVC(C=0.2, kernel='linear')
clf.fit(X, y)
x_fit = np.linspace(-1.5, 4)

# 最佳函数
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a*x_fit - (clf.intercept_[0]) / w[1]

# 最大边距 下界
b_down = clf.support_vectors_[10]
y_down = a* x_fit + b_down[1] - a * b_down[0]

# 最大边距 上界
b_up = clf.support_vectors_[1]
y_up = a* x_fit + b_up[1] - a * b_up[0]

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)

# 画函数
plt.plot(x_fit, y_3, '-c')

# 画边距
plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4)

# 画支持向量
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b',
 s=80, facecolors='none')

运行结果：
在这里插入图片描述

有些时候，我们会遇到下面这种数据集，这种数据集没有办法用线性分类器进行分类。

from sklearn.datasets.samples_generator import make_circles

# 画散点图
X, y = make_circles(100, factor=.1, noise=.1, random_state=2019)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
clf = SVC(kernel='linear').fit(X, y)

# 最佳函数
x_fit = np.linspace(-1.5, 1.5)
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a*X - (clf.intercept_[0]) / w[1]
plt.plot(X, y_3, '-c')

运行结果：
在这里插入图片描述
但是，我们可以将低维空间的数据映射到高维空间。
这样一来，我们就可以通过一个超平面对数据进行划分。

我们映射的目的在于使用SVM在高维空间找到超平面的能力。

下面是映射的代码：

# 数据映射
r = np.exp(-(X[:, 0] ** 2 + X[:, 1] ** 2))
ax = plt.subplot(projection='3d')
ax.scatter3D(X[:, 0], X[:, 1], r, c=y, s=50, cmap=plt.cm.Paired)
ax.set_xlabel('x')
ax.set_ylabel('y')
ax.set_zlabel('z')
x_1, y_1 = np.meshgrid(np.linspace(-1, 1), np.linspace(-1, 1))
z = 0.01*x_1 + 0.01*y_1 + 0.5
ax.plot_surface(x_1, y_1, z, alpha=0.3)

运行结果：
在这里插入图片描述
在SVC中，我们可以使用高斯核函数来实现这一功能（kernel=‘rbf’），找到超平面。

# 画图
X, y = make_circles(100, factor=.1, noise=.1, random_state=2019)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
clf = SVC(kernel='rbf')
clf.fit(X, y)

ax = plt.gca()
x = np.linspace(-1, 1)
y = np.linspace(-1, 1)
x_1, y_1 = np.meshgrid(x, y)
P = np.zeros_like(x_1)
for i, xi in enumerate(x):
     for j, yj in enumerate(y):
         P[i, j] = clf.decision_function(np.array([[xi, yj]]))
ax.contour(x_1, y_1, P, colors='k', levels=[-1, 0, 0.9], alpha=0.5,
 linestyles=['--', '-', '--'])
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b',
 s=80, facecolors='none')

运行结果：
在这里插入图片描述

f.DL
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
支持向量机
m0_66109479的博客
12-18 978
换句话说，由于支持向量计算法的最终决策函数只由少数的支持向量所确定，所以计算的复杂性取决于支持向量的数目，而不是样本空间的维数。如果n较小，而m较大，例如n在1-1000之间，而m大于50000，则使用支持向量机会非常慢，解决方案是创造、增加更多的特征，然后使用逻辑回归或不带核函数的支持向量机。经典的支持向量机算法只给出了二分类的算法，而在数据挖掘的实际应用中，一般要解决多分类问题，但支持向量机对于多分类问题解决效果并不理想。w是参数，垂直与决策边界，x是特征向量，与数据集有关，b是截距。
机器学习——支持向量机（SVM）
2301_78630677的博客
09-06 1万+
支持向量机（SVM）是一种常见的机器学习方法，常用于分类（线性和非线性分类问题），回归问题。本文将详细介绍一下支持向量机算法。本文在SVM算法原理介绍中：从开始的SVM介绍，到Kernel的介绍，再到算法和核函数的选择，之后就是算法的步骤，以及分类和回归的选择；在代码实现中：亦是分别对SVM中的回归（SVR)和分类（SVC）用代码实现，并可视化结果。 关关雎鸠，在河之洲 --2023-9-4 筑基篇
支持向量机（SVM）通俗版讲解
czhendehaonan的博客
04-08 7687
而对于更高的维度，虽然我们处在三维的世界，无法想象三维以上的世界，但我们可以使用数学方法描述更高维度，同样也可以使用数学方法推导出高维的线性模型。所以我们可以这样描述SVM的目的：找到这样一个超平面wx+b=0，使得在超平面上方的点x代入函数y=wT x+b，y全部大于0，在超平面下方的点x代入函数y=wx+b，y全部小于0。显然，在上述的二维空间中，我们的目标就是找到这样的一条直线，能够把样本集划分成两部分，我们把这样的线称作。的函数，分类效果最好的超平面应该使d最大，我们的目的就是寻找这样的。
机器学习——支持向量机
diosamaehjs的博客
12-18 931
支持向量机（Support Vector Machine）是是一种强大且广泛应用的分类和回归算法。它具有优秀的泛化性能和较高的鲁棒性，被广泛应用于模式识别、计算机视觉、自然语言处理等多个领域。
机器学习-支持向量机的数学推导
11-17
机器学习入门，支持向量机算法概述，支持向量机的数学模型部分推导过程
支持向量机matlab代码程序-机器学习实战项目-支持向量机
最新发布
01-04
支持向量机matlab代码程序_机器学习实战项目-支持向量机 ```matlab % 加载数据 load fisheriris X = meas; Y = species; % 划分训练集和测试集 cv = cvpartition(size(X, 1), 'HoldOut', 0.2); X_train = X...
机器学习-第六章支持向量机
11-22
如[Vapnik,1999]所述，支持向量机这个名字强调了此类学习器的关键是如何从支持向量构建出解；同时也暗示着其复杂度主要与支持向量的数目有关。
机器学习 - 支持向量机
04-23
支持向量机人工智能代码，可以通过调用不同的核函数，对代码进行修整。
数据挖掘机器学习-支持向量机libsvm实验报告.docx
06-16
数据挖掘机器学习-支持向量机libsvm实验报告.docx数据挖掘机器学习-支持向量机libsvm实验报告.docx数据挖掘机器学习-支持向量机libsvm实验报告.docx数据挖掘机器学习-支持向量机libsvm实验报告.docx数据挖掘机器学习...
机器学习算法：支持向量机（SVM）
m0_62919535的博客
11-10 4968
支持向量机（SVM）是一类按监督学习的方式对数据进行二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。SVM的学习策略是间隔最大化，可形式化为求解一个凸二次规划问题，也等价于正则化的合页损失函数的最小化问题。线性可分支持向量机、线性支持向量机以及非线性支持向量机。当训练数据可分时，通过硬间隔支持向量机，学习一个线性的分类器，即线性可分支持向量机，又称硬间隔支持向量机；
支持向量机（SVM）
热门推荐
星辰的博客
01-17 2万+
算法简介 支持向量机(SVM)是种二类分类模型。 它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机:支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化算法。 支持向量机学习方法包含构建由简至繁的模型:线性可分支持向量机、线性支持向量机以及非线性支持向量机。简单模型是复杂模型的基础，也是复杂模型的特殊情况。当训练数据线
支持向量机（机器学习）
m0_72115396的博客
12-18 928
优点:可用于线性/非线性分类，也可以用于回归，泛化错误率低，也就是说具有良好的学习能力，且学到的结果具有很好的推广性。可以解决小样本情况下的机器学习问题，可以解决高维问题，可以避免神经网络结构选择和局部极小点问题。SVM是最好的现成的分类器，现成是指不加修改可直接使用。并且能够得到较低的错误率，SVM可以对训练集之外的数据点做很好的分类决策。缺点：对参数调节和和函数的选择敏感。适用的数据类型：数值型和标称型数据b%3E0%2Cif1b%3C0%2Cifa_ib%29%3E0。
机器学习笔记之支持向量机1——支持向量机基础知识梳理即大概流程
gatol的博客
08-25 587
支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。      支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样
机器学习实战python基于支持向量机svm
07-06
机器学习实战Python基于支持向量机（SVM）是一种强大的分类器算法。SVM是一种监督学习方法，可以用于解决二分类和多分类问题。 SVM的基本思想是找到一个最佳的超平面，将数据分割成不同的类别。超平面被定义为在n维...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值