机器学习算法笔记：基于支持向量机的分类预测

最新推荐文章于 2024-05-16 16:38:48 发布
最新推荐文章于 2024-05-16 16:38:48 发布
阅读量370 收藏 1
点赞数
分类专栏： machine learning 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Joyceying1007/article/details/108244609
版权

本文结构
在这里插入图片描述

1. 代码流程

Step1:库函数导入
##  基础函数库
import numpy as np 

## 导入画图库
import matplotlib.pyplot as plt
import seaborn as sns

## 导入逻辑回归模型函数
from sklearn  import svm
Step2:构建数据集并进行模型训练
##Demo演示LogisticRegression分类

## 构造数据集
x_fearures = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]])
y_label = np.array([0, 0, 0, 1, 1, 1])

## 调用SVC模型 （支持向量机分类）
svc = svm.SVC(kernel='linear')

## 用SVM模型拟合构造的数据集
svc = svc.fit(x_fearures, y_label)
Step3:模型参数查看
## 查看其对应模型的w
print('the weight of Logistic Regression:',svc.coef_)

## 查看其对应模型的w0
print('the intercept(w0) of Logistic Regression:',svc.intercept_)

在这里插入图片描述

Step4:模型预测
## 模型预测
y_train_pred = svc.predict(x_fearures)
print('The predction result:',y_train_pred)

在这里插入图片描述

Step5:模型可视化

由于此处选择的线性核函数，所以在此我们可以将svm进行可视化。

# 最佳函数
x_range = np.linspace(-3, 3)

w = svc.coef_[0]
a = -w[0] / w[1]
y_3 = a*x_range - (svc.intercept_[0]) / w[1]

# 可视化决策边界
plt.figure()
plt.scatter(x_fearures[:,0],x_fearures[:,1], c=y_label, s=50, cmap='viridis')
plt.plot(x_range, y_3, '-c')
plt.show()

在这里插入图片描述

2. 算法实践（为了找出最优的分类器引用SVM）

第一类数据：分属于两类

获得了分属两类的数据

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets.samples_generator import make_blobs
%matplotlib inline

# 画图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=60, cmap=plt.cm.Paired)

在这里插入图片描述
使用线性分类器将数据分开，可以有多种分法

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)

plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)

x_fit = np.linspace(0, 3)
# 画函数
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')
y_2 = -0.3 * x_fit + 3
plt.plot(x_fit, y_2, '-k')

在这里插入图片描述
如何判断哪个分类器更好？
引入一个判断标准：不仅能准确划分已知的数据，对于未知的数据更好的进行划分。
假设一个新数据（3，2.8）

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
plt.scatter([3], [2.8], c='#cccc00', marker='<', s=100, cmap=plt.cm.Paired)

x_fit = np.linspace(0, 3)

# 画函数
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')
y_2 = -0.3 * x_fit + 3
plt.plot(x_fit, y_2, '-k')

在这里插入图片描述

可以看到，此时黑色的线会把这个新的数据集分错，而蓝色的线不会。

我们刚刚举的例子可能会带有一些主观性。

那么如何客观的评判两个分类器的鲁棒性呢？

此时，我们需要引入一个非常重要的概念：最大间隔。

最大间隔刻画着当前分类器与数据集的边界，以这两个分类器为例：

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)

x_fit = np.linspace(0, 3)

# 画函数
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')
# 画边距
plt.fill_between(x_fit, y_1 - 0.6, y_1 + 0.6, edgecolor='none', color='#AAAAAA', alpha=0.4)

y_2 = -0.3 * x_fit + 3
plt.plot(x_fit, y_2, '-k')
plt.fill_between(x_fit, y_2 - 0.4, y_2 + 0.4, edgecolor='none', color='#AAAAAA', alpha=0.4)

在这里插入图片描述

可以看到， 蓝色的线最大间隔是大于黑色的线的。
所以我们会选择蓝色的线作为我们的分类器。

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)

# 画图
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')
# 画边距
plt.fill_between(x_fit, y_1 - 0.6, y_1 + 0.6, edgecolor='none', color='#AAAAAA', 
                 alpha=0.4)

在这里插入图片描述
那么现在找到了最优的分类器了吗？
为了找到最优的分类器，我们引入SVM

from sklearn.svm import SVC
# SVM 函数
clf = SVC(kernel='linear')
clf.fit(X, y)

在这里插入图片描述

# 最佳函数
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a*x_fit - (clf.intercept_[0]) / w[1]

# 最大边距 下届
b_down = clf.support_vectors_[0]
y_down = a* x_fit + b_down[1] - a * b_down[0]
# 最大边距 上届
b_up = clf.support_vectors_[-1]
y_up = a* x_fit + b_up[1] - a * b_up[0]

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 画函数
plt.plot(x_fit, y_3, '-c')
# 画边距
plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4)
# 画支持向量
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b',
            s=80, facecolors='none')

在这里插入图片描述
图中三个圈出的点是距离分类器最近的点，称之为支持向量
支持向量机为我们提供了在众多可能的分类器之间进行选择的原则，从而确保对未知数据集具有更高的泛化性。

第二类数据：分属间隔相近
# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)

在这里插入图片描述
这种情况不容易找到最大间隔，于是有了软间隔
相比于硬间隔，软间隔允许个别数据处于间隔带中间；
若没有一个原则约束，这样的软间隔可能有无数条
所以需要对分错的数据进行“惩罚”，SVC函数中，参数C就是惩罚参数
惩罚参数越小，容忍性就越大（换言之处于间隔带的点越多）。
以C=1为例

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 惩罚参数：C=1 
clf = SVC(C=1, kernel='linear')
clf.fit(X, y)

# 最佳函数
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a*x_fit - (clf.intercept_[0]) / w[1]
# 最大边距 下届
b_down = clf.support_vectors_[0]
y_down = a* x_fit + b_down[1] - a * b_down[0]
# 最大边距 上届
b_up = clf.support_vectors_[-1]
y_up = a* x_fit + b_up[1] - a * b_up[0]

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 画函数
plt.plot(x_fit, y_3, '-c')
# 画边距
plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4)
# 画支持向量
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b',
            s=80, facecolors='none')

在这里插入图片描述
惩罚参数 C=0.2 时，SVM 会更具包容性，从而兼容更多的错分样本：

X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 惩罚参数：C=0.2 
clf = SVC(C=0.2, kernel='linear')
clf.fit(X, y)

x_fit = np.linspace(-1.5, 4)
# 最佳函数
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a*x_fit - (clf.intercept_[0]) / w[1]
# 最大边距 下届
b_down = clf.support_vectors_[10]
y_down = a* x_fit + b_down[1] - a * b_down[0]
# 最大边距 上届
b_up = clf.support_vectors_[1]
y_up = a* x_fit + b_up[1] - a * b_up[0]

# 画散点图
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 画函数
plt.plot(x_fit, y_3, '-c')
# 画边距
plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4)
# 画支持向量
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b',
            s=80, facecolors='none')

在这里插入图片描述

第三类数据：“核型”数据
from sklearn.datasets.samples_generator import make_circles
# 画散点图
X, y = make_circles(100, factor=.1, noise=.1, random_state=2019)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)

clf = SVC(kernel='linear').fit(X, y)

# 最佳函数
x_fit = np.linspace(-1.5, 1.5)
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a*X - (clf.intercept_[0]) / w[1]

plt.plot(X, y_3, '-c')

在这里插入图片描述
将二维数据映射在三维空间中
通过一个超平面对数据进行划分
映射的目的在于使用SVM在高维空间找到超平面的能力

# 导入函数
from mpl_toolkits.mplot3d import Axes3D
# 数据映射
r = np.exp(-(X[:, 0] ** 2 + X[:, 1] ** 2))

ax = plt.subplot(projection='3d')
ax.scatter3D(X[:, 0], X[:, 1], r, c=y, s=50, cmap=plt.cm.Paired)
ax.set_xlabel('x')
ax.set_ylabel('y')
ax.set_zlabel('z')

x_1, y_1 = np.meshgrid(np.linspace(-1, 1), np.linspace(-1, 1))
z =  0.01*x_1 + 0.01*y_1 + 0.5
ax.plot_surface(x_1, y_1, z, alpha=0.3)

在这里插入图片描述
在 SVC 中，我们可以用高斯核函数来实现这以功能：kernel=‘rbf’

# 画图
X, y = make_circles(100, factor=.1, noise=.1, random_state=2019)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
clf = SVC(kernel='rbf')
clf.fit(X, y)


ax = plt.gca()
x = np.linspace(-1, 1)
y = np.linspace(-1, 1)
x_1, y_1 = np.meshgrid(x, y)
P = np.zeros_like(x_1)
for i, xi in enumerate(x):
    for j, yj in enumerate(y):
        P[i, j] = clf.decision_function(np.array([[xi, yj]]))
ax.contour(x_1, y_1, P, colors='k', levels=[-1, 0, 0.9], alpha=0.5,
            linestyles=['--', '-', '--'])

plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b',
            s=80, facecolors='none');

在这里插入图片描述
此时完成分线性分类

参考：https://developer.aliyun.com/ai/scenario/b6c1ef3172d84236ae10c3b91798a796

joyceying小洲
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习练习6-支持向量机
m0_56049115的博客
05-03 1283
机器学习练习6-支持向量机 本文基于Andrew_Ng的ML课程作业
机器学习算法入门梳理——支持向量机的分类预测详解
weixin_45717457的博客
08-26 884
基于支持向量机的分类预测 机器学习算法详解，day3 打卡！ 1. 相关的概念 线性可分：在二维空间上，两类点被一条直线完全分开叫做线性可分。 超平面：从二维空间扩展到多维空间时，将两两类样本完全正确的划分开来的线（上述线性可分的直线）就变成了超平面（wx+b=0）。以最大间隔把两类样本分开的超平面称之为最大间隔超平面（这样做是为了使该超平面更具鲁棒性（稳定））。 两类样本分别被分割在超平面的两侧 两侧距离超平面最近的样本点到超平面的距离被最大化了。 支持向量：是一些离散的点，通常为样本中距离超平面
ML机器学习基础的编程技巧：
zjjaibc的博客
07-23 794
ML入门编程记录
学习SVM中碰到的函数
Ann的博客
10-18 1806
学习svm的时候，看了几个大牛的代码，代码中调了几个函数库，在此记录下来，方便以后的学习。 一、sklearn.svm.SVC sklearn.svm.SVC(C=1.0, kernel='rbf', degree=3, gamma='auto', coef0=0.0, shrinking=True, probability=False,tol=0.001, cache_size=200, cla...
【Predictive algorithms 预测算法】- 7 支持向量机
最新发布
qq_41553063的博客
05-16 298
SVM的基本思想是将数据集映射到高维特征空间中，使得不同类别的样本尽可能地被一个超平面分割开。超平面被选择为能够最大化样本间的间隔，即使得不同类别样本距离超平面的最小距离最大化。对于线性可分的问题，SVM可以直接找到一个超平面将不同类别的样本完全分开；对于线性不可分的问题，SVM引入了核函数来进行非线性映射，将数据映射到高维空间中进行分类。然而，SVM的缺点是对大规模数据集和噪声敏感，同时对于多类别的问题需要进行扩展。此外，SVM还可以通过引入软间隔和惩罚项来处理部分重叠的样本和噪声。
SVM深入理解
weixin_44314290的博客
11-23 1242
一、深入了解SVM算法在解决线性不可分类时，对特征集进行多项式、核函数转换（升维）将其转换为线性可分类问题的思想 完成以下任务： 对照参考资料“支持向量机-课件-518.docx”，将其中的例子代码在Jupyter中重新做一遍。并将例子代码中采用多项式分类函数、高斯核函数对鸢尾花、月亮数据集进行SVM训练所得到最终分类决策函数，输出出来。 ...
sklearn-SVC实现与类参数
weixin_30301449的博客
04-12 794
sklearn-SVC实现与类参数 SVC继承了父类BaseSVC SVC类主要方法： ★__init__() 主要参数： C:float参数 默认值为1.0 错误项的惩罚系数。C越大，即对分错样本的惩罚程度越大，因此在训练样本中准确率越高，但是泛化能力降低，也就是对测试数据的分类准确率降低。相反，减小C的话，容许训练样本中有一些误分类错误样本，泛化能力强。对于训练样本带有噪声的情况，...
基于python的分类预测_机器学习算法（五）: 基于支持向量机的分类预测
weixin_39843782的博客
02-05 691
声明：本次撰写以Datawhale团队提供的学习材料以自学为主，代码为Datawhale团队提供，利用阿里云天池实验室与编辑器pycharm完成测试。支持向量机(Support Vector Machine，SVM)是一个非常优雅的算法，具有非常完善的数学理论，常用于数据分类，也可以用于数据的回归预测中，由于其优美的理论保证和利用核函数对于线性不可分问题的处理技巧， 在上世纪90年代左右，SVM曾...
斯坦福大学机器学习课程个人学习笔记（上）.rar_支持向量机_斯坦福大学机器学习课程个人学习笔记（上）
09-24
支持向量机（Support Vector Machine，简称SVM）是一种广泛应用于分类和回归分析的监督学习模型，由Vapnik和...无论是对机器学习初学者还是经验丰富的从业者，深入理解和支持向量机都能为解决复杂问题提供强大的工具。
机器学习算法笔记.zip
04-08
随着统计学的发展，统计学习在机器学习中占据了重要地位，支持向量机（SVM）、决策树和随机森林等算法的提出和发展，使得机器学习能够更好地处理分类、回归和聚类等任务。进入21世纪，深度学习成为机器学习领域的...
乳腺癌分类：使用支持向量机的乳腺癌诊断分类
02-19
乳腺癌分类使用支持向量机的乳腺癌诊断分类客观的： 知识库是一项学习练习，旨在： 从可用数据集中应用机器学习的基本概念根据观察到的数据集评估和解释我的结果并证明我的解释是正确的创建笔记本作为计算记录并记录...
支持向量机聚类-笔记.docx
02-20
支持向量机（SVM）是一种常用的机器学习算法，常用于分类、回归、聚类等任务。在聚类分析中，SVM 可以与其他算法结合，形成混合预测模型，以提高预测准确性。在这个笔记中，我们将讨论支持向量机聚类的混合预测模型...
svc.fit(X=, y=, sample_weight=)理解这句代码
weixin_44943389的博客
05-22 355
fit的过程就是在将分类器拟合的过程。
支持向量机python代码_SVM--支持向量机&Python代码
weixin_39773817的博客
11-23 675
（一）基础理论部分如果对支持向量机的基础理论推导感兴趣，这里分享一个经典的视频：https://www.youtube.com/watch?v=_PwhiWxHK8o​www.youtube.com如果只是想要了SVM的解基本思想并进行实践，一定要看这个视频：https://www.youtube.com/watch?v=N1vOgolbjSc​www.youtube.com由于视频是在油管发布的...
基于scikit-learn支持向量机(Support vector machine)的实现
weixin_60737527的博客
08-06 869
基于scikit-learn 支持向量机实现。
《用Python玩转数据》scikit-learn机器学习经典入门项目
AudreyLikeSwim
10-16 1805
《用Python玩转数据》scikit-learn机器学习经典入门项目 scikit-learn是基于NumPy、SciPy和Matplotlib的著名的Python机器学习包，里面包含了大量经典机器学习的数据集和算法实现，请基于经典的鸢尾花数据集iris实现简单的分类和聚类功能。 #通过如下语句可以获得iris数据集（通过dir(datasets)查看数据集，例如可用datasets.lo...
支持向量分类器的scikit-learn 实现(Support Vector Classifier)
CodenameNC的博客
02-17 1691
支持向量分类器（SVC）在最大化分类间隔(margin)和最小化错误分类(misclassification)上需要一个平衡。 在SVC分类器中，用超参数C作为误差的惩罚项 当C比较小时，可以接受一些数据点的误分类,模型的偏差高而方差低(high bias low variance) 当C比较大时，对错误分类的点惩罚严重，分类器会尽力避免错误的分类，得到的模型偏差小但方差高(low bi...
Scikit-learn中使用SVM对文本进行分类
刘伟的博客
09-14 7036
（一）背景   本人最近弄了两个和svm算法有关的大作业，一个是处理手写数字识别的，另外一个是文本分类的。最开始，我用libsvm提供的包进行分类。但是总是会出现分成一类的情况。有时候数据归一化之后，就不会分成一类，能够正常分类；但有时候源数据能正常分类，而归一化数据之后却会分成只有一类的情况。   这让我感到很苦恼，并且了解了一下SVM算法，但是仍然不知道问题所在。后来在大神指点下，使用机器...
SVM支持向量机（二）13
small-guo
11-18 1826
1导包 import numpy as np from sklearn import datasets from sklearn.svm import SVC from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score import matplotlib.pyplot as plt 2加载数据 X,y=datasets.load_wine(return_X_...
斯坦福大学机器学习课程笔记：从定义到算法分类
此外，线性代数的知识，如矩阵和特征向量，对于理解许多机器学习算法至关重要。 机器学习的应用广泛且多样化，不仅限于数据挖掘、计算机视觉，还包括自然语言处理、生物特征识别、搜索引擎优化等。这些应用都需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值