机器学习——支持向量机（SVM）

于 2024-06-11 14:34:13 发布
阅读量1k 收藏 17
点赞数 20
文章标签： 机器学习 支持向量机 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_73975302/article/details/139596767
版权

目录

一、简介

二、支持向量机（SVM）

2.1 概念

2.2 四种分隔情况

2.3 相关计算

2.4 主要特点

三、代码实现

3.1 主代码

3.2 图像

四、优缺点分析

4.1 优点

4.2 缺点

五、总结

一、简介

支持向量机（Support Vector Machine，SVM）是一种基于统计学习理论的机器学习算法，它是由Vapnik和Cortes于1995年提出的。SVM是一种二类分类模型，它的基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略就是间隔最大化，同时它还能够应用于回归问题（SVR，Support Vector Regression）。

二、支持向量机（SVM）

2.1 概念

  1. 支持向量：在训练数据集上，那些位于决策边界附近的点被称为支持向量，因为它们是确定最优超平面的关键点。

  2. 超平面：在特征空间中，超平面是一个能够将数据集划分为两个不同类别的最大间隔平面。

  3. 间隔：间隔是指从超平面到最近的属于某一类的数据点的距离。SVM的目标是找到一个能够最大化这个间隔的超平面。

  4. 软间隔：由于真实世界中的数据往往存在噪声或重叠，硬间隔SVM可能无法找到合适的超平面。软间隔SVM允许一些数据点违反间隔约束，从而更好地适应复杂的数据分布。

  5. 核函数：当数据不是线性可分时，SVM通过使用核技巧将数据映射到高维空间，在高维空间中寻找最优超平面。常见的核函数包括线性核、多项式核、径向基函数（RBF）核和sigmoid核。

  6. 正则化参数C：在软间隔SVM中，参数C用于控制误分类的惩罚程度。C值越大，模型对误分类的惩罚越重，可能会导致过拟合；C值越小，模型的泛化能力更强，但可能会欠拟合。

2.2 四种分隔情况

  1. 线性可分（Linearly Separable）： 在这种情况下，数据集可以被一个线性超平面完美地分隔。也就是说，存在一个超平面，它能够将两类数据点完全分开，没有任何一个数据点穿过超平面。线性可分问题可以通过硬间隔最大化来解决，此时的SVM模型被称为硬间隔支持向量机。

  2. 线性不可分（Linearly Inseparable）： 当数据集由于噪声或重叠而不能被任何线性超平面完美分隔时，我们称之为线性不可分。在这种情况下，我们需要引入松弛变量（slack variables）来允许一些数据点违反间隔约束。这时的SVM模型被称为软间隔支持向量机，它通过软间隔最大化来解决分类问题。

  3. 非线性可分（Non-linearly Separable）： 对于非线性问题，数据集在原始特征空间中无法通过任何线性超平面分隔。为了处理这种情况，SVM使用核技巧将数据映射到一个更高维的空间，在这个高维空间中数据可能是线性可分的。常用的核函数包括多项式核、径向基函数（RBF）核和sigmoid核。通过在高维空间中应用线性SVM方法，我们可以找到一个能够分隔数据的非线性超平面。

  4. 多分类问题（Multi-class Classification）： SVM最初是为二分类问题设计的。对于多分类问题，我们需要将SVM扩展到能够处理多个类别。这可以通过一对多（one-vs-rest）策略、一对一（one-vs-one）策略或者基于决策树的层次化SVM（Hierarchical SVM）等方法来实现。在多分类问题中，我们可能需要找到多个超平面，每个超平面分隔一对类别。

2.3 相关计算

超平面方程

在SVM中，超平面是通过解优化问题得到的，其方程可以表示为：

\mathbf{w}^T \mathbf{x} + b = 0

其中，𝑤w 是超平面的法向量，决定了超平面的方向；b 是截距，决定了超平面与原点的距离。对于任何点 x，如果 \mathbf{w}^T \mathbf{x} + b > 0，则该点被分类为正类；如果 \mathbf{w}^T \mathbf{x} + b < 0，则被分类为负类。

间隔

SVM中的间隔是指从超平面到最近的数据点的距离。在硬间隔SVM中，这个距离是最大的，而在软间隔SVM中，可能存在一些数据点违反间隔约束。

  1. 硬间隔：对于硬间隔SVM，间隔由支持向量到超平面的距离决定，可以表示为：

     \frac{| \mathbf{w}^T \mathbf{x}_i + b |}{\| \mathbf{w} \|}

    其中，xi是支持向量。硬间隔SVM的目标是最大化这个间隔，即最大化 \frac{2}{w}​。

  2. 软间隔：在软间隔SVM中，考虑到松弛变量 \xi i，间隔的计算稍微复杂一些。优化问题变为：

    \min_{\mathbf{w}, b, \xi} \frac{1}{2} \|\mathbf{w}\|^2 + C \sum_{i=1}^n \xi_i

    \text{subject to} \quad y_i (\mathbf{w}^T \mathbf{x}_i + b) \geq 1 - \xi_i\xi_i \geq 0 \quad \text{for all } i

    这里，c 是正则化参数，控制着间隔大小和误分类之间的权衡。

2.4 主要特点

  1. 最大间隔分类器：SVM试图找到能够最大化两类数据间隔的超平面。
  2. 使用核函数：通过使用核技巧，SVM能够有效地处理非线性问题。
  3. 硬间隔与软间隔：硬间隔SVM假设数据是线性可分的，而软间隔SVM允许一些数据点违反间隔约束。
  4. 支持向量：训练完成后，大部分的训练数据都不再重要，只有那些位于决策边界附近的点（支持向量）对分类有影响。

三、代码实现

3.1 主代码

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
 
# 创建 40 个点  
np.random.seed(0)
X = np.r_[np.random.randn(20, 2) - [2, 2], np.random.randn(20, 2) + [2, 2]]
Y = [0] * 20 + [1] * 20
Y = np.array(Y)  # 将 Y 转换为 NumPy 数组以便进行索引  
 
# 添加噪点  
num_noise = 2
noise_indices = np.random.choice(range(40), num_noise, replace=False)
Y[noise_indices] = 1 - Y[noise_indices]
 
# 绘制原始数据点  
plt.scatter(X[:, 0], X[:, 1], c=Y, cmap=plt.cm.Paired, label='Data points')
 
# 建立 svm 模型，并添加 C 参数来改变对噪点的敏感度  
C_values = [0.1, 1, 10, 100]  # 尝试不同的 C 值  
colors = ['red', 'green', 'blue', 'purple']
 
 
for C, color in zip(C_values, colors):
    clf = svm.SVC(kernel='linear', C=C)
    clf.fit(X, Y)
    # 绘制划分超平面
    w = clf.coef_[0]
    a = -w[0] / w[1]
    xx = np.linspace(-5, 5)
    yy = a * xx - (clf.intercept_[0]) / w[1]
    plt.plot(xx, yy, color=color, label=f'C={C}')  # 注意这里使用 color=color 而不是 color + '-'
    # 圈出支持向量  
    plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1],
                s=80, facecolors='none', edgecolors=color, label='_nolegend_')
 
# 显示图例  
plt.legend()
plt.axis('tight')
plt.show()

3.2 图像

四、优缺点分析

4.1 优点

  1. 高精度：SVM在处理小样本、非线性及高维模式识别方面表现出优势，能够捕捉到数据的复杂结构，从而获得较高的分类精度。
  2. 鲁棒性：SVM对数据中的噪声和异常值具有较强的抵抗力，能够保持较好的性能。
  3. 可扩展性：SVM能够处理大规模的数据集，并且在处理多分类问题时不需要建立复杂的映射关系。
  4. 易于理解：SVM的决策边界通常是直线或超平面，这使得人们对模型的解释变得容易。
  5. 灵活性：SVM可以通过不同的核函数来处理不同类型的数据，如线性、非线性和文本数据。
  6. 高效性：SVM在处理大型数据集时表现高效，可以在短时间内得到结果。
  7. 开源社区支持：SVM有丰富的开源库支持，如Scikit-learn、LibSVM等，便于开发者使用和定制。

4.2 缺点

  1. 参数选择困难：SVM的参数选择（如惩罚系数C、核函数参数gamma等）较为困难，需要通过交叉验证来确定最佳参数。
  2. 对稀疏数据敏感：当数据集中某些类别很少时，SVM可能无法准确预测这些类别的数据点。
  3. 计算复杂度高：SVM的训练过程涉及求解一个优化问题，计算复杂度较高。
  4. 内存消耗大：对于海量数据，SVM的训练可能会占用大量的内存资源。
  5. 可能过拟合：如果特征数量远大于样本数量，SVM可能会出现过拟合的情况。

五、总结

  支持向量机（SVM）是一种强大的机器学习算法，广泛应用于分类和回归任务。它的核心思想是在特征空间中找到一个最优的超平面，使得不同类别的数据点能够被最佳地分隔。SVM通过最大化分类间隔来提高模型的泛化能力，并且使用核函数来处理非线性问题。
SVM在图像识别、文本分类、生物信息学、医疗诊断等多个领域有广泛的应用。它的强大泛化能力和在处理非线性问题时的有效性使其成为一个受欢迎的选择。尽管存在一些挑战，如参数选择和计算复杂度，但SVM仍然是数据科学家和机器学习工程师的重要工具。随着研究的深入和技术的进步，SVM的应用范围和能力预计将进一步扩大。
 

平川落山海
关注
  • 20
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
OpenCV机器学习——支持向量机SVM
01-27
OpenCV中集成了多种机器学习算法供我们方便使用，如果我们要训练数据进行分类，不用自己写分类器，只需要调用相应的库和类即可轻松实现。本文重点不在于介绍机器学习原理及数学推导，着重介绍OpenCV中的机器学习相关...
机器学习——支持向量机SVM算法完整实战源码
05-16
基于Python和sklearn机器学习库实现的支持向量机算法使用的实战案例。 使用jupyter notebook环境开发。 支持向量机：支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据...
经典机器学习算法之SVM算法
bradyM的博客
05-29 1万+
SVM算法介绍
机器学习算法（一）SVM
热门推荐
学习 & 分享 ~
06-02 25万+
支持向量机（support vector machines，SVM）是一种二分类模型，它将实例的特征向量映射为空间中的一些点，SVM 的目的就是想要画出一条线，以 “最好地” 区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类。SVM 适合中小型数据样本、非线性、高维的分类问题。SVM 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出，目前的版本（soft margin）是由 Corinna Cortes 和 Vapnik 在1
机器学习之SVM
湫兮如风i的博客
10-20 4409
机器学习之SVM
机器学习之支持向量机（SVM）原理详解、公式推导（手推）、面试问题、简单实例（sklearn调包）
如果没有躺赢的命，那就站起来奔跑，你的努力一定会对得起这一路的颠沛流离。
02-07 1万+
主要内容分为理论推导和代码实现以及面试宝典三个部分。 理论推导主要是SVM的原理以及线性SMO算法的推导，也提了一下核函数和软间隔的理论，在推导之前还引入了拉格朗日乘子法、超平面、对偶问题的介绍。 代码实现包括sklearn调用，有几个对应实例。 面试宝典是一部分《机器学习》中的课后习题和一些《百面机器学习》的面试题，由公式推导和理论解答。
机器学习——支持向量机(SVM)
Ascons的博客
12-18 5260
支持向量机是一种强大的机器学习算法，用于分类和回归。它通过最优超平面来分隔不同类别的样本，并具有较好的泛化能力和鲁棒性。然而，SVM在计算复杂度和参数选择方面存在挑战。在实际应用中，需要适当调整参数和进行模型优化。
机器学习——支持向量机思维导图
11-26
"机器学习——支持向量机思维导图" 支持向量机（Support Vector Machine，SVM）是一种监督学习算法，主要用于分类和回归问题。其基本思想是寻找一个超平面，使得训练数据集的样本点中与分离超平面距离最近的样本点...
从零开始的机器学习——支持向量机（SVM） （2018-8-10）.zip
最新发布
04-16
从零开始的机器学习——支持向量机（SVM） （2018-8-10）.zip
python机器学习之SVM（支持向量机）实例
柳小葱的博客
04-12 1万+
其实在很早以前写过一期SVM,只不过当时对SVM只是初步的了解，现在重新来看，其实SVM还是有很多值得学习的地方。 1.SVM介绍 SVM可以理解为：使用了支持向量的算法，支持向量机是一种基于分类边界分界的方法。以二维数据为例，如果训练数据分布在二维平面上的点，它们按照其分类聚焦在不同的区域。基于分类边界的分类算法的目标：通过训练，找到这些分类之间的边界（如果是直线的，称为线性划分，如果是曲线的，称为非线性划分）。 过程如上述三个图，SVM就是试图把棍放在最佳的位置上，最好让棍两边有尽可能大的间隙，这
机器学习之支持向量机（SVM）
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-26 2万+
支持向量机（support vector machine，SVM）是有监督学习中最有影响力的机器学习算法之一，该算法的诞生可追溯至上世纪 60 年代， 前苏联学者 Vapnik 在解决模式识别问题时提出这种算法模型，此后经过几十年的发展直至 1995 年， SVM 算法才真正的完善起来，其典型应用是解决手写字符识别问题。SVM 是一种非常优雅的算法，有着非常完善的数学理论基础，其预测效果，在众多机器学习模型中“出类拔萃”。在深度学习没有普及之前，“支持向量机”可以称的上是传统机器学习中的“霸主”。
机器学习：支持向量机（SVM）
燕双嘤
11-06 16万+
1，概述 1.1，概念 支持向量机（SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，可以将问题化为一个求解凸二次规划的问题。与逻辑回归和神经网络相比，支持向量机，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。 具体来说就是在线性可分时，在原空间寻找两类样本的最优分类超平面。在线性不可分时，加入松弛变量并通过使用非线性映射将低维度输入空间的样本映射到高维度空间使其变为线性可分，这样就可以在该特征空间中寻找最优分类超平面。 SV
机器学习之支持向量机(SVM)
我の博客
10-16 3731
2021秋第七周周报内容 1. 概述 支持向量机(Support Vector Machine, 也称为支持向量网络)是一种二分类模型.它源于统计学习理论, 是一个强学习器. 从分类效力来看, SVM无论在处理线性还是非线性分类中, 都是明星般的存在: 从实际来看, SVM在各种实际问题中也都具有不错的表现. 它在手写识别数字和人脸识别中应用广泛, 在文本和超文本的分类中举足轻重, 因为SVM可以大量减少标准归纳 (standard inductive) 和转换设置 (transductiv..
机器学习-SVM（支持向量机）
qq_45981086的博客
12-09 1070
支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面举个栗子在桌子上似乎有规律地放了两种颜色的球，要求你用一根棍子分离开他们，并且尽量再放更多的球之后，仍然适用。SVM就是试图把棍放在最佳位置，好让在棍的两边有尽可能大的间隙（这被认为是最佳求解。
机器学习--SVM（支持向量机）核函数原理以及高斯核函数
wenqiwenqi123的博客
02-12 4万+
最近小小地研究了一下SVM，发现这个算法还是相当有意思，今天来给大家讲讲其原理。首先假设每个样本的特征值为X1、X2...到Xn，即有n个特征值。θ1、θ2、θ3...θn为对应权值。那么要将上图两类红色的X和白色的O分类的话，最简单的方法就是找到合适的权值，使得：当θ0+θ1*X1+θ2*X2+...θn*Xn&gt;=0时 将样本分为第一类。当式子&lt;0时，分为第二类。将该式拓展一下可以变...
机器学习-SVM
xu624735206的博客
03-25 2354
机器学校-SVM一、SVM提出二、SVM最优化问题三、为什么要求对偶问题四、SVM转换为对偶问题五、核函数 一、SVM提出 这里有两个类别的数据， class1 与class2，要把这两类分开。我们可以找到很多条直线将它们分开，只要位于两类数据之间即可，然而, 我们的目的不只是为了区分现有的两类数据, 我们真正想要达到的目的是: 当模型在现有数据训练完成后, 将其应用到新的数据时,我们仍然可以很好的区分两类数据,达到预期的分类效果，即 泛化(generalization) 能力。 哪一条直线分类效果更好
情感识别系统——基于支持向量机算法(svm)附带matlab代码实现
10-27
情感识别系统是一种可以自动判断和分类文本或语音中所表达的情感的算法。支持向量机(SVM)是一种常用的机器学习方法，在情感识别中也广泛应用。 SVM基于对数据进行特征映射，将数据从低维空间转化为高维空间，以便更好地进行分类。在情感识别中，我们可以将文本或语音数据转化为特征向量表示，然后使用SVM进行分类。通常选择常用的特征表示方法如词袋模型或者TF-IDF进行特征提取。 下面给出一个用Matlab实现情感识别系统的示例代码： ```matlab % 导入情感数据集 data = importdata('emotion_data.txt'); % 划分训练集和测试集 trainRatio = 0.8; trainSize = int32(length(data) * trainRatio); trainData = data(1:trainSize,:); testData = data(trainSize+1:end,:); % 提取特征和标签 trainFeatures = trainData(:,1:end-1); trainLabels = trainData(:,end); testFeatures = testData(:,1:end-1); testLabels = testData(:,end); % 创建SVM模型 svmModel = fitcsvm(trainFeatures, trainLabels); % 在测试集上进行预测 predictedLabels = predict(svmModel, testFeatures); % 计算准确率 accuracy = sum(predictedLabels == testLabels) / length(testLabels); disp(['准确率：' num2str(accuracy*100) '%']); ``` 以上代码中，我们首先导入情感数据集，然后将数据划分为训练集和测试集。接着我们提取特征和标签，即将文本数据转化为特征向量表示。 然后我们使用fitcsvm函数来创建SVM模型，并通过predict函数在测试集上进行预测。最后我们计算准确率来评估模型的性能。 这是一个简单的情感识别系统的实现示例，实际情感识别会有更多的特征提取方法和模型调参等工作。希望这个回答能对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值