10 - L8 机器学习 | 支持向量机 SVM

已于 2024-09-20 22:57:26 修改
阅读量1k 收藏 29
点赞数 12
文章标签： 支持向量机 机器学习 算法
于 2024-09-20 22:49:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hazel_cjx/article/details/142406854
版权

支持向量机（SVM）

支持向量机（Support Vector Machine，简称SVM）是一种常用的监督学习算法，用于分类和回归任务，尤其是在分类问题中表现非常优秀。SVM的核心思想是寻找一个最优的决策边界（也称为超平面），以最大化分类时两类之间的间隔，从而实现更好的分类效果。

1. 基本概念

SVM的目标是找到一个超平面来区分不同类别的数据点。超平面可以理解为一个分隔面，在二维情况下是直线，三维情况下是平面，多维情况下则是超平面。SVM通过最大化超平面到各个类别数据点的最小距离（即间隔）来实现最优分类，这个最大化间隔的过程是SVM最重要的特性。

以上介绍的SVM只能解决线性可分的问题，为了解决更加复杂的问题，支持向量机学习方法有一些由简至繁的模型：

  • 线性可分SVM：当训练数据线性可分时，通过硬间隔（hard margin，见下文）最大化可以学习得到一个线性分类器，即硬间隔SVM，如上图的的𝐻3。
  • 线性SVM：当训练数据不能线性可分但是可以近似线性可分时，通过软间隔（soft margin）最大化也可以学习到一个线性分类器，即软间隔SVM。
  • 非线性SVM：当训练数据线性不可分时，通过使用核技巧（kernel trick）和软间隔最大化，可以学习到一个非线性SVM。

2. 线性可分问题

在理想情况下，数据可以通过一个直线（或高维的超平面）完美分成两类，这称为线性可分。SVM会找到所有能分开这两类数据的超平面中最优的超平面，即能使两类数据之间的间隔最大的超平面。

  • 支持向量：在线性可分的情况下，训练数据集的样本点中与分离超平面距离最近的数据点称为支持向量(support vector)，支持向量也就是所有在直线𝑋𝑇𝑊+𝑏=1或直线𝑋𝑇𝑊+𝑏=−1上的点。如下图所示:这些点决定了超平面的最终位置，因为超平面是基于这些支持向量的。

3. 线性不可分问题

在现实数据中，大多数情况是线性不可分的，也就是用直线（或超平面）无法完美地将数据分开。此时，SVM采用以下两种方法来处理：

3.1 软间隔（Soft Margin）

在允许一些数据点误分类的情况下，SVM通过引入松弛变量，允许少量的错误分类数据点，进而在大多数情况下找到一个较优的超平面。这个方法叫做软间隔，目的是在误差和间隔之间找到一个平衡。

3.2 核函数（Kernel Trick）

对于线性不可分的问题，SVM还可以将数据映射到更高维的空间，通过在高维空间中找到线性可分的超平面。为了实现这一点，SVM使用核函数，避免了显式地将数据映射到高维空间，极大减少了计算复杂度。

如下图所示，核技巧的基本思路分为两步: ● 使用一个变换将原空间的数据映射到新空间(例如更高维甚至无穷维的空间)； ● 然后在新空间里用线性方法从训练数据中学习得到模型。

非线性SVM的核心在于核函数的选择与应用。核函数允许我们在不显式地计算高维空间中的映射的情况下，直接计算在这个高维空间中的内积。这样，我们就可以利用原始特征空间中的数据，在计算上等效于在一个可能更高维度的特征空间中寻找最大边距超平面。常用的核函数有以下几种：

  • 线性核函数：适合线性可分问题。
  • 多项式核函数：将数据映射到高维多项式空间。
  • 高斯径向基核函数（RBF Kernel）：常用于复杂的非线性问题，表现非常好。
  • Sigmoid核函数：表现类似于神经网络中的激活函数。

4. 公式表达

支持向量机的目标是最大化间隔（Margin）。对于给定的训练集{(𝑥1,𝑦1),(𝑥2,𝑦2),…,(𝑥𝑛,𝑦𝑛)}，其中𝑥𝑖∈ℝ𝑛是输入向量，𝑦𝑖∈{−1,1}是类别标签，SVM的优化问题可以表示为：

其中𝐶是一个超参数，控制模型对误分类的容忍度。

5. 超参数

SVM有两个主要的超参数需要调整：

  • C参数：控制软间隔的大小，也就是对误分类的容忍度。较大的𝐶值会减少误分类，但也可能导致过拟合；较小的𝐶值会增加间隔，但误分类更多。
  • 𝛾参数：在使用核函数时，𝛾决定单个样本的影响范围。较大的𝛾会使模型更加关注近邻的点，可能导致过拟合；较小的𝛾则使模型更加平滑，关注整体趋势。

6. 优缺点

优点

  • 高效处理高维数据：SVM在高维空间中表现优越，尤其在特征数量多于样本数量的情况下。
  • 避免过拟合：SVM通过最大化间隔来寻找最优分类界限，通常比其他分类器更能避免过拟合。
  • 适用非线性问题：通过使用核函数，SVM可以轻松处理线性不可分问题。

缺点

  • 计算复杂度高：尤其是在大规模数据集上，SVM的训练时间较长。
  • 难以解释：相比于决策树或线性回归，SVM的结果（支持向量、间隔等）不易解释。
  • 对超参数敏感：𝐶和𝛾等超参数对模型的效果影响较大，需要仔细调整。

7. 应用场景

SVM在以下领域中有广泛应用：

  • 文本分类：SVM广泛用于垃圾邮件检测、情感分析等文本分类任务。
  • 图像分类：在图像识别和分类中，SVM常用于识别特定的图像特征。
  • 基因数据分析：由于SVM处理高维数据的能力，它也常用于生物信息学领域，比如基因表达数据的分类。

8. 总结

支持向量机通过最大化类间的间隔来进行分类。它通过核函数能很好地处理线性不可分问题，是一种非常强大、灵活的分类算法。尽管SVM计算复杂度较高，但在许多实际应用中，它的表现往往非常出色。

在实际操作中，选择合适的核函数是一个关键步骤，通常需要通过交叉验证等方法来确定最优的核函数类型及相应的参数。一旦选定核函数，非线性SVM的学习算法（如SMO算法）会在这个“kernelized”特征空间中寻找最大边距超平面，从而解决了原始空间中非线性可分的问题。这种方法不仅保持了SVM优雅的理论性质，如最大化间隔，同时也大大增强了模型的表达能力和泛化能力。

实战

1. scikit-learn库实现线性可分的SVM

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score

# 加载数据集
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 数据预处理
sc = StandardScaler()
X = sc.fit_transform(X)

# 训练集和测试集的分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建SVM模型
svm = SVC(kernel='linear', C=1.0)

# 训练模型
svm.fit(X_train, y_train)

# 预测
y_pred = svm.predict(X_test)

# 评估模型性能
accuracy = accuracy_score(y_test, y_pred)
print('Accuracy: %.2f' % (accuracy * 100.0))

2. scikit-learn库实现非线性可分的SVM

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score

# 加载数据集
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 数据预处理
sc = StandardScaler()
X = sc.fit_transform(X)

# 训练集和测试集的分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建SVM模型
svm = SVC(kernel='rbf', C=1.0, gamma=0.1)

# 训练模型
svm.fit(X_train, y_train)

# 预测
y_pred = svm.predict(X_test)

# 评估模型性能
accuracy = accuracy_score(y_test, y_pred)
print('Accuracy: %.2f' % (accuracy * 100.0))

3. sklearn.svm.SVC函数详解

sklearn.svm.SVC 是 Scikit-learn 库中用于实现支持向量机（SVM）分类的一个类。

函数定义：

sklearn.svm.SVC(
    C=1.0,
    kernel='rbf',
    degree=3,
    gamma='scale',
    coef0=0.0,
    shrinking=True,
    probability=False,
    tol=1e-3,
    cache_size=200,
    class_weight=None,
    verbose=False,
    max_iter=-1,
    decision_function_shape='ovr',
    break_ties=False,
    random_state=None
)

常用参数详解：

  1. C（默认值：1.0）
    • 作用：惩罚参数，用于平衡最大化分类间隔和误分类惩罚之间的关系。
    • 解释：较大的 C 值意味着对误分类的惩罚更大，模型会倾向于将更多的训练数据点分类正确，但可能会导致间隔变小，可能出现过拟合；较小的 C 值则会更关注于间隔的大小，而允许更多的误分类，从而提高模型的泛化能力。
    • 常用范围：通常在 0.001 到 1000 之间进行调节。
  2. kernel（默认值：'rbf'）
    • 作用：指定要使用的核函数，支持不同的非线性映射方法。
    • 可选值：
      • 'linear'：线性核函数，即不进行任何非线性映射。
      • 'poly'：多项式核函数，通常用于多项式可分的情况。
      • 'rbf'：径向基函数（Radial Basis Function），又称高斯核，是最常用的非线性核函数。
      • 'sigmoid'：类似于神经网络的激活函数，较少使用。
      • 你也可以传递自定义核函数，方法是传递一个函数。
  3. degree （默认值：3）
    • 作用：当 kernel='poly' 时，指定多项式核的多项式次数。
    • 解释：如果使用多项式核函数（poly），degree 参数决定多项式的阶数，通常是 2 或 3。
  4. gamma（默认值：'scale'）
    • 作用：核函数系数，适用于 'rbf'、'poly' 和 'sigmoid' 核函数。
    • 可选值：
      • 'scale'：使用 1 / (n_features * X.var()) 作为默认值。这个值会根据输入特征的数量和方差自动调整。
      • 'auto'：使用 1 / n_features 作为值。
    • 解释：gamma 值越大，模型越倾向于拟合训练数据，但可能会导致过拟合；gamma 值越小，模型更倾向于平滑。
  5. coef0（默认值：0.0）
    • 作用：核函数中的独立项，仅在 kernel='poly' 或 kernel='sigmoid' 时有意义。
    • 解释：用于控制多项式核函数和 sigmoid 核函数中的偏移量。

 

hazel_cjx
关注
Google Earth Engine（GEE）——10种不同机器学习方法下的土地分类分析
此星光明博客
06-22 2232
要了解更多关于CART或其他基于树的算法的工作原理以及它们的不同之处，请阅读此https://www.analyticsvidhya.com/blog/2021/04/distinguish-between-tree-based-machine-learning-algorithms/。数据准备：在GEE中导入真实土地类型数据和相应的遥感数据，包括多光谱或高分辨率遥感数据等。半监督学习：结合监督和无监督方法的学习方法，适用于有限的标记数据和大量未标记数据的情况。监督学习：从已知的数据中学习并预测新的数据。
SVM 模型选择与超参数优化方法
AI天才研究院
08-13 853
什么是支持向量机（Support Vector Machine，SVM）？SVM 是一种二分类算法，它通过找到一个最优分离超平面（separating hyperplane），将数据点分为两类，使得两类中的数据点尽可能地远离对方。换句话说，SVM 的目的是找到能够最大化间隔（margin）的超平面，使得数据集中处于不同类别的数据点之间的距离最大。间隔最大化可以理解为 SVM 对异常值和噪声点非常敏感。与其他机器学习模型相比，SVM 在数据集较小、特征维度较高、存在不少噪声样本时表现尤佳。
SKlearn中的svm超参数总结
春华秋实
05-23 2万+
SKlearn中好多机器学习模型已经做好了，使用的时候直接调用就可以，俗称“调包侠”，我觉得挺有意思，这样大大降低了机器学习的门槛，最近几天一直在使用svm训练模型，其中数据样本不均衡以及打分一直上不去，特征工程也调了好久，现在开始对svm的一些参数进行调试，看看模型会不会变得更好。SVC参数解释 （1）C: 目标函数的惩罚系数C，用来平衡分类间隔margin和错分样本的，default C = ...
SVM模型应用（四）SVM模型的超参数选择
elite666的专栏
04-09 1万+
SVM模型超参数优化目前常用的方法是让C和g在一定的范围内取值，对于取定的c和g，把训练集作为原始数据集利用K-CV方法得到在此对c和g组合下验证集的分类准确率，最终取得训练集验证分类准确率最高的那组c和g作为最佳参数。对于可能会有多组的c和g对应着最高的验证分类准备率的情况下，选取能够达到最高验证分类准确率中参数c最小的那对c和g作为最佳的参数，在取最小c的情况下，可能还会存在多组g，那么就选取...
gridsearchcv参数_使用Python进行超参数优化
weixin_39737764的博客
11-23 1385
可以在此处找到本文随附的代码。https://github.com/NMZivkovic/ml_optimizers_pt3_hyperparameter_optimization到目前为止，在学习机器学习的整个过程中，涵盖了几个大主题。研究了一些回归算法，分类算法和可用于两种类型问题的算法(SVM， 决策树和随机森林)。除此之外，将toes浸入无监督的学习中，了解了如何使用这种类型的学...
SVM——支持向量机简析与应用指导
Pinkgranite86的博客
10-24 941
本篇文章基于对Andrew Ng课程内容的总结以及我个人的理解，希望有帮助 SVM属于supervised learning算法，鉴于目前无论是在工业界还是学术界都有着极其广泛的使用，可以说SVM是必须要了解甚至掌握的机器学习算法之一，接下来将从以下几个方面进行介绍。 目 录1 SVM的优化目标 1 SVM的优化目标 说到SVM，我们首先需要了解它的前身Logistic Regression（逻辑回归），逻辑回归来自于对线性回归的改良： 通过在线性回归后加入一个sigmoid过滤器得到属于[0,1]的结果
全面总结机器学习超参数调优（附代码）
最新发布
qq_39444290的博客
09-07 1564
大家好，我是Zhemg Lee ~ 转自：公众号：尤而小屋 ：https://mp.weixin.qq.com/s/OXBg_kpxpTirfqH1YH3shg 本文的主题：机器学习建模的超参数调优。开局一张图： 文章很长，建议直接收藏~ 一、什么是机器学习超参数？ 机器学习超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。 超参数是在模型训练之外设置的选项，不会在训练过程...
"支持向量回归预测云数据中心主机利用率的混合核方法
沙特国王大学学报基于混合核的支持向量回归的云数据中心Priyanka Nehra，A.长良寿印度拉贾斯坦邦中央大学Bandarsindri，Kishangarh，Ajmer 305817阿提奇莱因福奥文章历史记录：收到2020年2021年3月26日修订2021年4月...
"基于混合核的支持向量回归预测云数据中心主机利用率
沙特国王大学学报基于混合核的支持向量回归的云数据中心Priyanka Nehra，A.长良寿印度拉贾斯坦邦中央大学Bandarsindri，Kishangarh，Ajmer 305817阿提奇莱因福奥文章历史记录：收到2020年2021年3月26日修订2021年4月...
【知识图谱】阿里巴巴电商知识图谱
Nieson2012的专栏
08-11 7065
导读：发展是平台永恒的话题，以电商平台为例，在基于用户身份、历史行为挖掘偏好，以实现精准搜索和推荐结果展示之外，为了激励用户在平台进行更多采购，需要专门构建强化采购激励、拓宽采购品类的场景。本文以知识图谱为切入点，重点讲解了阿里巴巴B2B在电商结构化信息挖掘和场景应用等方面的经验。 知识图谱并不是一个全新的概念，它经历了知识工程、专家系统、语义网络等多种形式。 01、知识工程与专家系统 在1977年第五届国际人工智能会议上，美国斯坦福大学计算机科学家Edward A. Felgenbaum发表的...
电子舌系统在酸奶分类中的模式识别方法和评估
智能系统与应用16（2022）200143使用电子舌系统和机器的学习技术杰尔森十世Leon-Medinaa，b，Maribel Anayac，Diego A Tibaduiza c，*a哥伦比亚国立大学机械和机电一体化工程系-哥伦比亚，SedeBogota'b圣安文图拉...
支持向量机超参数的可视化解释
TensorFlowNews
10-13 1767
作者|Soner Yıldırım 编译|VK 来源|Towards Datas Science 支持向量机（SVM）是一种应用广泛的有监督机器学习算法。它主要用于分类任务，但也适用于回归任务。 在这篇文章中，我们将深入探讨支持向量机的两个重要超参数C和gamma，并通过可视化解释它们的影响。所以我假设你对算法有一个基本的理解，并把重点放在这些超参数上。 支持向量机用一个决策边界来分离属于不同类别的数据点。在确定决策边界时，软间隔支持向量机（soft margin是指允许某些数据点被错误分类）试图解决一个
python svm超参数_自动化机器学习（一）超参数自动优化
weixin_34832150的博客
01-09 1402
01技术介绍自动化机器学习就是能够自动建立机器学习模型的方法，其主要包含三个方面：方面一，超参数优化；方面二，自动特征工程与机器学习算法自动选择；方面三，神经网络结构搜索。本文侧重于方面一，如何对超参数进行自动优化。在机器学习中，模型本身的参数是可以通过训练数据来获取的，这些参数属于算法的普通参数，通过数据训练获得算法合适的参数，构建强大的模型本身就是机器学习的核心目标。但是机器学习算法...
python svm超参数_python常见问题汇总
weixin_39646107的博客
12-28 1140
这个文档是在学习python机器学习时遇到的一些问题汇总。有的时候有些不常用的处理时间之类的代码就记不起来，然后我就到这个文档里找。确实是有点乱，但是我通常用ctrl+f,查找关键字，一般很快就能找出来，大家如果需要的话，也可以通篇先复制到word里。# metrics衡量指标，误差度量import sklearn.metrics as skm #聚类评估包skm.silhouette_score...
基于SVM的异常检测方法
TensorFlowNews
11-03 3830
作者|Mahbubul Alam 编译|VK 来源|Towards Data Science 单类支持向量机简介 作为机器学习方面的专家或新手，你可能听说过支持向量机（SVM）——一种经常被引用和用于分类问题的有监督的机器学习算法。 支持向量机使用多维空间中的超平面来分离一类观测值和另一类观测值。当然，支持向量机被用来解决多类分类问题。 然而，支持向量机也越来越多地应用于一类问题，即所有的数据都属于一个类。在这种情况下，算法被训练成学习什么是“正常的”，这样当一个新的数据被显示时，算法可以识别它是否应该属
手把手教你实现SVM算法（一）
weixin_30685047的博客
12-31 1837
什么是机器学习 （Machine Learning） 机器学习是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。 机器学习的大致分类： 1）分类（模式识别）：要求系统依据已知的分类知识对输入的未知模式（该模式的描述）作分析，以确定输入模...
机器学习算法（一）SVM
热门推荐
学习 & 分享 ~
06-02 26万+
支持向量机（support vector machines，SVM）是一种二分类模型，它将实例的特征向量映射为空间中的一些点，SVM 的目的就是想要画出一条线，以 “最好地” 区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类。SVM 适合中小型数据样本、非线性、高维的分类问题。SVM 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出，目前的版本（soft margin）是由 Corinna Cortes 和 Vapnik 在1
机器学习中的算法(2)-支持向量机(SVM)基础
weixin_33691817的博客
05-02 432
版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com。也可以加我的微博:@leftnoteasy 前言： 又有很长的一段时间没有更新博客了，距离上次更新已经有两个月的时间了。其中一个很大的原因是，不知道写什么...
Python机器学习实战：支持向量机(SVM)详解
"这篇资源是关于Python机器学习中的支持向量机(SVM)理论与实战的讲解，适合对机器学习感兴趣的读者参考。内容包括SVM的优化目标、松弛变量、拉格朗日乘子法、核函数等核心概念，并探讨了C参数在模型中的作用以及如何...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值