三、【机器学习】【监督学习】- 支持向量机 (SVM)

已于 2024-07-13 09:02:58 修改
阅读量816 收藏 22
点赞数 8
分类专栏： 机器学习 文章标签： 支持向量机 机器学习 学习
于 2024-06-21 09:40:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xgq8217/article/details/139847951
版权

系列文章目录

第一章 【机器学习】初识机器学习

 第二章 【机器学习】【监督学习】- 逻辑回归算法 (Logistic Regression)

第三章 【机器学习】【监督学习】- 支持向量机 (SVM)

 第四章【机器学习】【监督学习】- K-近邻算法 (K-NN) 

第五章【机器学习】【监督学习】- 决策树 (Decision Trees)

第六章【机器学习】【监督学习】- 梯度提升机 (Gradient Boosting Machine, GBM)

第七章 【机器学习】【监督学习】-神经网络 (Neural Networks)

第八章【机器学习】【监督学习】-卷积神经网络 (CNN)

第九章【机器学习】【监督学习】-循环神经网络 (RNN)

第十章【机器学习】【监督学习】-线性回归

第十一章【机器学习】【监督学习】-局部加权线性回归 (Locally Weighted Linear Regression, LWLR)

第十二章【机器学习】【监督学习】- 岭回归 (Ridge Regression)

文章目录 

前言

一、基本定义

（一）、监督学习

（二）、监督学习的基本流程

（三）、监督学习分类算法（Classification）

二、 支持向量机 (SVM) 

（一）、支持向量机（SVM）定义

（二）、基本概念

（三）、训练过程

（四）、扩展知识（交叉验证）

1.主要步骤：

2.常见的交叉验证类型：

3.总结

（五）、最优分类器的选择

（六）、特点与适应场景

（七）、扩展

三、总结

前言

        在上一章【机器学习】【监督学习】- 逻辑回归算法 (Logistic Regression)中主要介绍监督学习中的分类算法的逻辑归回算法。本章内容主要介绍【监督学习】中分类算法支持向量机 (SVM) 。

一、基本定义

（一）、监督学习

        监督学习（Supervised Learning）是机器学习中的一种主要方法，其核心思想是通过已知的输入-输出对（即带有标签的数据集）来训练模型，从而使模型能够泛化到未见的新数据上，做出正确的预测或分类。在监督学习过程中，算法“学习”的依据是这些已标记的例子，目标是找到输入特征与预期输出之间的映射关系。

（二）、监督学习的基本流程

  • 数据收集：获取包含输入特征和对应正确输出标签的训练数据集。
  • 数据预处理：清洗数据，处理缺失值，特征选择与转换，标准化或归一化数据等，以便于模型学习。
  • 模型选择：选择合适的算法，如决策树、支持向量机、神经网络等。
  • 训练：使用训练数据集调整模型参数，最小化预测输出与实际标签之间的差距（损失函数）。
  • 验证与调优：使用验证集评估模型性能，调整超参数以优化模型。
  • 测试：最后使用独立的测试集评估模型的泛化能力，确保模型不仅在训练数据上表现良好，也能在未见过的新数据上做出准确预测。

（三）、监督学习分类算法（Classification）

  • 定义：分类任务的目标是学习一个模型，该模型能够将输入数据分配到预定义的几个类别中的一个。这是一个监督学习问题，需要有一组已经标记好类别的训练数据，模型会根据这些数据学习如何区分不同类别。
  • 例子：垃圾邮件检测（垃圾邮件 vs. 非垃圾邮件）、图像识别（猫 vs. 狗）。

二、 支持向量机 (SVM) 

（一）、支持向量机（SVM）定义

         支持向量机（SVM, Support Vector Machines）是一种基于统计学习理论和结构风险最小化原则的监督学习模型，主要用于分类和回归任务。其核心思想是通过在特征空间中构建一个最优的超平面，使得不同类别的样本点被该超平面最大程度地分开，同时保证对未知数据有良好的泛化能力。

（二）、基本概念

  • 最大边际原则：SVM试图找到一个具有最大边际的超平面，即距离超平面最近的数据点（支持向量）到超平面的平均距离最大化。这样的超平面能更好地泛化到未见数据。
  • 支持向量：位于超平面附近，决定超平面位置的数据点称为支持向量。
  • 软间隔与惩罚因子C：在实际问题中，数据往往不是完全线性可分的。引入松弛变量允许一些点轻微地违反边际，这称为软间隔。惩罚因子C控制着误分类的容忍程度和模型的复杂度。
  • 核技巧：为了处理非线性可分问题，SVM采用核函数将原始特征空间映射到一个高维甚至无限维的空间，在这个新空间中数据可能变得线性可分。

（三）、训练过程

  1. 数据准备：收集并清洗数据，进行特征选择和标准化处理。
  2. 选择核函数：根据问题特性选择合适的核函数，如线性核、多项式核、RBF核等。
  3. 构建优化问题：构建一个目标函数，该函数最小化超平面到支持向量的距离的同时考虑误分类的惩罚（对于软间隔SVM）。
  4. 求解：利用如SMO（序列最小最优化）、梯度下降或其他优化算法求解上述凸优化问题，得到模型参数。
  5. 模型评估：使用交叉验证等方法评估模型性能，调整参数以优化模型

（四）、扩展知识（交叉验证）

        交叉验证（Cross-Validation，简称CV）是一种评估统计模型性能和泛化能力的重要方法，尤其适用于监督学习中的模型选择和参数调整。其基本思想是将原始数据集分成训练集和验证集（或测试集），通过多次重复分割和评估的过程，来估计模型在独立于训练数据的新数据上的表现。这种方法有助于减少因数据分割偶然性导致的评估偏差，提供更加稳定和可靠的模型性能评估。

1.主要步骤：

        数据分割：首先将数据集随机分成k个互不相交的子集（或“折”），其中k-1个子集用于训练模型，剩下的一个子集用于验证模型性能。这一过程重复k次，每次选择不同的子集作为验证集，其余作为训练集。

        模型训练与评估：对于每一次分割，使用选定的算法和参数在k-1个子集上训练模型，然后在保留的验证集上评估模型性能（比如计算准确率、AUC-ROC等指标）。这样，每个子集都有机会作为验证集被使用一次。

        结果汇总：将k次评估得到的性能指标平均，得到一个综合的性能评估结果。这个平均值可以较好地反映模型在未见数据上的预期表现，因为它考虑了模型在不同数据子集上的稳定性。

2.常见的交叉验证类型：

  • k折交叉验证（k-Fold Cross-Validation）：是最常用的交叉验证形式，上面描述的就是k折交叉验证的基本流程，其中k通常是5或10。

  • 留一交叉验证（Leave-One-Out Cross-Validation, LOOCV）：是k折交叉验证的一个特例，当k等于数据集的大小时，即每个折仅包含一个样本，适用于数据量较小的情况。

  • 时间序列交叉验证（Time-Series Cross-Validation）：适用于时间序列数据，确保训练集总是早于验证集，保持时间顺序，防止未来信息泄露。

 3.总结

         通过交叉验证，不仅可以评估模型的性能，还可以用于模型选择（比如比较不同算法或同一算法的不同参数配置）和调参，帮助找到模型的最佳配置。        

（五）、最优分类器的选择

  1. 选择核函数：首先，需要根据问题的具体情况选择合适的核函数。SVM常用的核函数包括线性核、多项式核、高斯径向基核（RBF）等。选择核函数时，可以先尝试线性核，如果线性核无法达到满意的分类效果，再考虑非线性核。非线性问题中，RBF核因其灵活性和有效性而常被选用。

  2. 参数调优：SVM的主要参数包括正则化参数C和核函数的参数（如RBF核的γ）。C控制着误分类的惩罚程度和模型的复杂度，较大的C意味着对错误分类的惩罚更重，可能导致过拟合；较小的C则更倾向于简化模型，可能导致欠拟合。γ（针对RBF核）控制了数据映射到高维空间的分布密度，较大的γ意味着更复杂的决策边界，可能会过拟合；较小的γ则允许较宽的决策边界。

    • 交叉验证：使用k折交叉验证来评估不同参数组合下的模型性能。通过将数据集分割成k个子集，每次用k-1个子集训练模型，剩下的子集用来测试，然后平均所有轮次的测试结果来评估模型的泛化能力。

    • 网格搜索（Grid Search）或随机搜索（Randomized Search）：遍历预先设定好的参数网格，寻找最佳参数组合。随机搜索相比于网格搜索更为高效，特别是在参数空间较大时。

  3. 评估指标：选择合适的评估指标来衡量模型性能，如准确率、精确率、召回率、F1分数或AUC-ROC曲线等，具体取决于问题的需求。

  4. 避免过拟合：监控训练误差和验证误差，确保模型不过分拟合训练数据。如果发现验证误差开始上升，而训练误差继续下降，说明模型可能已经过拟合。

  5. 模型选择：基于交叉验证结果，选择那些在验证集上表现最优的参数组合对应的分类器作为最终模型。

（六）、特点与适应场景

  • 特点：强泛化能力、擅长处理高维数据、对小样本数据友好、可通过核技巧处理非线性问题。
  • 适应场景：文本分类、图像识别、生物信息学、手写数字识别、金融风险评估等。

（七）、扩展

  • 多分类SVM：SVM原为二分类模型，通过一对多（One-vs-All, OvA）或一对一（One-vs-One, OvO）策略扩展至多分类任务。
  • SVM回归（SVR, Support Vector Regression）：通过修改损失函数，使SVM可用于回归分析，预测连续值输出。
  • 核函数的选择与设计：不同的核函数适用于不同类型的数据分布，研究和设计更有效的核函数是SVM领域的一个重要方向。
  • 稀疏性：SVM模型往往具有稀疏性，特别是使用软间隔时，只依赖于支持向量，这使得模型易于解释和存储

三、总结

        综上所述，本章详细探讨了监督学习框架下的一种重要分类算法——支持向量机（SVM）。我们从监督学习的基本概念出发，理解了其通过已标记数据学习输入与输出间映射关系的过程，以及这一过程中的各个关键步骤，包括数据收集、预处理、模型选择、训练、验证调优和测试。在此基础上，深入剖析了支持向量机的核心原理，包括最大边际分类思想、支持向量的作用、软间隔的概念以及核技巧的应用，揭示了SVM如何通过优化超平面实现高效分类的机制。

        进一步地，我们阐述了SVM的训练流程，从数据准备到核函数的选择，再到模型的构建与求解，强调了模型评估中交叉验证的重要性及其在参数调优中的应用。通过网格搜索或随机搜索策略，结合适当的评估指标，能够在避免过拟合的同时，寻找到最优的模型参数配置，确保模型在未知数据上的泛化能力。

        此外，我们也探讨了SVM的扩展应用，如多分类问题的解决方案、SVM在回归任务中的变体SVR，以及核函数选择与设计的策略，突显了SVM在多个领域的广泛适用性和灵活性。SVM凭借其在高维数据处理、小样本学习及非线性问题建模方面的优势，成为众多领域中不可或缺的工具。

        总之，支持向量机作为监督学习领域的一项关键技术，不仅深刻体现了结构风险最小化和最大边际原则的价值，而且通过不断的实践与扩展，持续推动着机器学习领域的发展，为解决复杂分类与回归问题提供了强有力的手段。理解并掌握SVM的工作原理与应用，对于提升机器学习项目的性能与效率至关重要。

   更多内容，防止走丢，请关注公众号，公众号会持续更新各类技术内容和职场介绍：

                                             

码上云游

暴躁的大熊
关注
  • 8
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
支持向量机matlab代码程序-机器学习实战项目-支持向量机
01-04
支持向量机matlab代码程序_机器学习实战项目-支持向量机 ```matlab % 加载数据 load fisheriris X = meas; Y = species; % 划分训练集和测试集 cv = cvpartition(size(X, 1), 'HoldOut', 0.2); X_train = X(training(cv), :); Y_train = Y(training(cv), :); X_test = X(test(cv), :); Y_test = Y(test(cv), :); % 训练支持向量机模型 SVMModel = fitcsvm(X_train, Y_train, 'KernelFunction', 'RBF', 'BoxConstraint', 1); % 预测 Y_pred = predict(SVMModel, X_test); % 计算准确率 accuracy = sum(Y_pred == Y_test) / length(Y_test); disp(['准确率： ', num2str(accuracy * 100), '%']);
机器学习与数据挖掘-支持向量机(SVM)（一）
06-21
机器学习与数据挖掘-支持向量机(SVM)（一）； 最近在看斯坦福大学的机器学习的公开课，学习了支持向量机，再结合网上各位大神的学习经验总结了自己的一些关于支持向量机知识。
机器学习：支持向量机（SVM）
热门推荐
燕双嘤
11-06 17万+
1，概述 1.1，概念 支持向量机（SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，可以将问题化为一个求解凸二次规划的问题。与逻辑回归和神经网络相比，支持向量机，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。 具体来说就是在线性可分时，在原空间寻找两类样本的最优分类超平面。在线性不可分时，加入松弛变量并通过使用非线性映射将低维度输入空间的样本映射到高维度空间使其变为线性可分，这样就可以在该特征空间中寻找最优分类超平面。 SV
机器学习之支持向量机（SVM）
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-26 2万+
支持向量机（support vector machine，SVM）是有监督学习中最有影响力的机器学习算法之一，该算法的诞生可追溯至上世纪 60 年代， 前苏联学者 Vapnik 在解决模式识别问题时提出这种算法模型，此后经过几十年的发展直至 1995 年， SVM 算法才真正的完善起来，其典型应用是解决手写字符识别问题。SVM 是一种非常优雅的算法，有着非常完善的数学理论基础，其预测效果，在众多机器学习模型中“出类拔萃”。在深度学习没有普及之前，“支持向量机”可以称的上是传统机器学习中的“霸主”。
机器学习--支持向量机（SVM算法）
jimei2011的博客
03-06 1139
无
机器学习算法系列（五）-- 支持向量机（SVM）
三明治的博客
04-29 6306
我们希望寻找到这样的直线，使得距离这条直线最近的点到这条直线的距离最短。我们从如下右图直观来解释这一句话就是要求的两条外面的线之间的间隔最大。这是可以理解的，因为假如数据样本是随机出现的，那么这样分割之后数据点落入到其类别一侧的概率越高那么最终预测的准确率也会越高。在高维空间中这样的直线称之为超平面，因为当维数大于三的时候我们已经无法想象出这个平面的具体样子。那些距离这个超平面最近的点就是所谓支持向量，实际上如果确定了支持向量也就确定了这个超平面，找到这些支持向量之后其他样本就不会起作用了。
机器学习（13）--支持向量机
人工智能小白
07-14 1558
支持向量机在sklearn中的应用，SVC的相关接口，建模及调参
机器学习-04-分类算法-04-支持向量机SVM
IT从业者的成长历程
03-18 1579
本系列是机器学习课程的系列课程，主要介绍机器学习中分类算法，本篇为分类算法与SVM算法部分。
机器学习基础学习-支持向量机SVM（理论部分）
小夭的博客
12-14 3297
1、什么是支持向量机 支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier） 支持向量机（Support Vector Machine）。支持向量机既可以解决分类问题，也可以解决回归问题。 在之前的逻辑回归中，对于数据的分类，我们可以找到一条决策边界对数据进行分类 但其实这个决策边界并不唯一，可以看到下面两条线都可以作为决策边界，这种问
机器学习——支持向量机（SVM）
m0_74100344的博客
06-09 1925
支持向量机是一种强大的机器学习算法，用于分类和回归。它通过最优超平面来分隔不同类别的样本，并具有较好的泛化能力和鲁棒性。然而，SVM在计算复杂度和参数选择方面存在挑战。在实际应用中，需要适当调整参数和进行模型优化。b。
机器学习-支持向量机的数学推导
11-17
支持向量机（Support Vector Machines, SVM）是机器学习领域中一种强大的监督学习算法，尤其擅长于二分类问题。它的核心思想是构建一个能够最大化类别间间隔的决策边界，从而达到最优分类效果。SVM的基本模型是基于...
SVM - 支持向量机 - Support Vector Machines
07-05
1 Introduction 1 1.1 Statistical Learning 1 1.2 Support Vector Machines: An Overview 7 1.3 History of SVMs and Geometrical Interpretation 13 1.4 Alternatives to SVMs 19 2 Loss Functions and Their ...
机器学习-支持向量机svm.pptx
06-30
自己制作的支持向量机PPT，用于日常学习分享，欢迎大家下载交流，配套的文章在本人的博客上。适合课题分享、小组交流、科普机器学习。
机器学习-支持向量机(SVM) -回归-python scikit-learn
weixin_44733966的博客
02-02 1030
支持向量机是一种用于回归、分类和检测异常值的监督学习算法。支持向量机是经典机器学习中非常强大的模型之一，适用于处理复杂的高维数据集。支持向量机支持不同的核(线性、多项式、径向基函数(rbf)和sigmoid)，支持向量机可以处理不同类型的数据集，包括线性和非线性。支持向量机的工作方式可以比作有边界线的间隔。在SVM训练过程中，SMV根据每个训练数据点的重要程度绘制类之间的较大裕度或决策边界。在决策边界内的训练数据点称为支持向量。这是一个使用支持向量机进行回归的实验介绍。
机器学习——支持向量机(SVM)
Ascons的博客
12-18 6172
支持向量机是一种强大的机器学习算法，用于分类和回归。它通过最优超平面来分隔不同类别的样本，并具有较好的泛化能力和鲁棒性。然而，SVM在计算复杂度和参数选择方面存在挑战。在实际应用中，需要适当调整参数和进行模型优化。
支持向量机（SVM，Support Vector Machine）
xixixixixixixi21的博客
07-22 530
高效解决高维问题：通过核函数可以将低维数据映射到高维空间，使得非线性问题变得可行。强泛化能力：选择正确的核函数和惩罚参数，SVM能有效避免过拟合。少数样本效果好：特别适合处理小规模、高维度的数据集。支持间隔最大化：目标是找到最优决策边界（最大间隔），这使得模型对于噪声和异常值具有鲁棒性。
人工智能与机器学习原理精解【7】
基础数学与应用数学
07-25 1026
数学优化（Mathematical Optimization），也称为最优化问题，是一个广泛应用的数学领域，旨在解决在一定约束条件下寻找目标函数的最优值（最大值或最小值）的问题。数学优化问题的定义为：给定一个目标函数（也称为代价函数）fA→R，寻找一个变量（也称为参数）x∗∈D，使得对于所有D中的x，都有fx∗≤fx（最小化问题）或fx∗≥fx（最大化问题）。其中，D是变量x的约束集，也称为可行域；D中的变量被称为可行解。
各种聚类方法的聚类思想介绍及其优缺点
QianMo的博客
07-22 1473
对于计算复杂度较低的聚类算法，K-means 和 Mini-Batch K-means 是较好的选择，尤其适用于大规模数据集。尽管它们都有需要预先指定簇数量的缺点，但其简单性和高效性使其在许多实际应用中非常受欢迎。层次聚类（单链）和均值漂移适用于中小规模数据集，虽然计算复杂度相对较高，但在不需要预先指定簇数量的场景中具有优势。
机器学习任务中怎么选择模型？
最新发布
weixin_39915444的博客
07-25 355
选择适合的机器学习模型是一个复杂且关键的过程，需要考虑以下几个方面：以下是选择模型的一般步骤：明确任务类型：探索数据：模型选择：模型评估：模型解释：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值