【机器学习】svm

最新推荐文章于 2023-04-21 16:39:57 发布
最新推荐文章于 2023-04-21 16:39:57 发布
阅读量348 收藏 1
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41724761/article/details/104933988
版权

一.原理部分

1. SVM 原理
a.SVM 是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。

b.当训练样本线性可分时，通过硬间隔最大化(几何间隔），学习一个线性分类器，即线性可分支持向量机；

c.当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机；

d.当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

松弛变量：
使用原因：一些离群点或者噪声点影响分界面；
解决方法：允许某些样本不满足约束:在这里插入图片描述
0/1损失函数非凸函数，不易求解，因此引入hinge函数作为SVM的损失函数。在这里插入图片描述
引入松弛变量，优化目标变成：
在这里插入图片描述
在这里插入图片描述

2. SVM 为什么采用间隔最大化
a.当训练数据线性可分时,间隔最大化解是唯一的。
b.这个划分超平面所产生的分类结果是最鲁棒的，对未见示例的泛化能力最强.
在这里插入图片描述
在这里插入图片描述
3.SVM为什么要从原始问题变为对偶问题来求解？
对偶问题往往更易求解，因为对偶问题将原始问题中的不等式约束转为了对偶问题中的等式约束。
方便核函数的引入
改变了问题的复杂度，由求特征向量w转化为求比例系数a，在原始问题下，求解的复杂度与样本的维度有关，即w的维度。在对偶问题下，只与样本数量有关。
(a) 目前处理的模型严重依赖于数据集的维度d，如果维度d太高就会严重提升运算时间；

(b) 对偶问题事实上把SVM从依赖d个维度转变到依赖N个数据点，考虑到在最后计算时只有支持向量才有意义，所以这个计算量实际上比N小很多。
对偶问题：引入拉格朗日乘子，可以得到以下拉格朗日函数:
在这里插入图片描述

求导：在这里插入图片描述

将上式代入拉格朗日函数：

在这里插入图片描述

由于对偶问题的性质，最小变为最大，求W的极值即可：

在这里插入图片描述
从KKT条件中得到，只有支持向量的不为0，其他情况的都为0.那么来一个新样本x后，就可以这样分类：
在这里插入图片描述
从对偶问题解出的过程需满足KKT(Karush-Kuhn-Tucker) 条件只有支持向量的不为0，其他情况的都为0.那么来一个新样本x后，就可以这样分类：f(x)
在这里插入图片描述
对偶问题求解方法：SMO.
将大优化的问题分解成多个小优化问题，这些小问题往往比较容易求解在这里插入图片描述，并且对他们进行顺序求解的结果与他们作为整体来求解的结果完全一致。

4,为什么SVM要引入核函数？

当样本在原始空间线性不可分时可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。

引入映射后的对偶问题：
在这里插入图片描述
在学习预测中，只定义核函数K(x,y)，而不是显式的定义映射函数ϕ。因为特征空间维数可能很高，甚至可能是无穷维，因此直接计算ϕ(x)·ϕ(y)是比较困难的。相反，直接计算K(x,y)比较容易（即直接在原来的低维空间中进行计算，而不需要显式地写出映射后的结果）。

核函数的定义：K(x,y)=<ϕ(x),ϕ(y)>，即在特征空间的内积等于它们在原始样本空间中通过核函数K计算的结果。

除了 SVM 之外，任何将计算表示为数据点的内积的方法，都可以使用核方法进行非线性扩展。

在这里插入图片描述
高斯核函数（BPF）：
优点：
可以映射到无限维
决策边界更为多样
只有一个参数sigema，相比多项式核容易选择
缺点：
可解释性差(无限多维的转换，无法算w)
计算速度比较慢(解一个对偶问题)
容易过拟合(参数选不好时容易overfitting)

在实战中更多的是：

特征维数高选择线性核
样本数量可观、特征少选择高斯核（非线性核）
样本数量非常多选择线性核（避免造成庞大的计算量）

二.应用部分

1.为什么SVM对缺失数据敏感？

这里说的缺失数据是指缺失某些特征数据，向量数据不完整。SVM没有处理缺失值的策略（决策树有）。而SVM希望样本在特征空间中线性可分，所以特征空间的好坏对SVM的性能很重要。缺失特征数据将影响训练结果的好坏。

2.SVM多分类
一对多方法：每一次把某个样本定为正样本，其余样本作为负样本。

        优点：每个优化问题规模小，分类器少，分类速度快；

        缺点：每一个分类器都说它属于它那一类---分类重叠；每一个分类器都说它不是它那一类---不可分类现象。

一对一方法：每次选一个类的样本作正类样本，负类样本则变成只选一个类。　　假设有四类A,B,C,D四类。在训练的时候我选择A,B; A,C; A,D; B,C; B,D;C,D所对应的向量作为训练集，然后得到六个训练结果，在测试的时候，把对应的向量分别对六个结果进行测试，然后采取投票形式，最后得到一组结果。

        优点:不会出现分类重叠现象。

3.防止SVM过拟合
解决过拟合的办法是为SVM引入了松弛变量ξ（slack variable），将SVM公式的约束条件改为：
在这里插入图片描述
4.SVM与LR的区别与联系
联系：（1）分类（二分类） （2）可加入正则化项
区别：（1）LR–参数模型；SVM–非参数模型？（2）目标函数：LR—logistical loss；SVM–hinge loss （3）SVM–support vectors；LR–减少较远点的权重 （4）LR–模型简单，好理解，精度低，可能局部最优；SVM–理解、优化复杂，精度高，全局最优，转化为对偶问题—>简化模型和计算 （5）LR可以做的SVM可以做（线性可分），SVM能做的LR不一定能做（线性不可分）

Reference:
https://blog.csdn.net/manduner/article/details/89893419
https://blog.csdn.net/cppjava_/article/details/68060439

https://blog.csdn.net/u010496169/article/details/73695164?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

https://cuijiahua.com/blog/2017/11/ml_8_svm_1.html

Zoe Zhao
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
机器学习SVM(支持向量机)实验报告(带源代码)
10-27
### 机器学习SVM(支持向量机)实验报告知识点解析 #### 一、实验目的与要求 **实验目的：** - 验证支持向量机(Support Vector Machine, SVM)机器学习算法的学习情况。 **要求：** - 学员需要自主完成整个实验过程...
（《机器学习》完整版系列）第6章 支持向量机SVM——6.1 支持向量机SVM的基本型（对偶要KKT条件，不是找对象的条件）
qiy_icbc的博客
02-24 220
在属性坐标系中讨论二分类问题：以点表示属性（向量），以点的型状表示类别。 支持向量机SVM的基本型：目标是最大化间隔，涉及较多的数学知识：对偶问题、拉格朗日乘子法、KKT条件、SMO算法、解二次规划。
SVM-支持向量机学习（2）：线性可分SVM的对偶型
鸟恋旧林的博客
08-31 1263
1. 从原始问题到对偶问题上节整整讨论了两遍（周、李老师），就是为了引出SVM是怎么来的？要解决的问题是什么？如何数学化表达？得到下面的数学问题：这就是SVM的基本型。该问题也称为原始问题。对该问题应用拉格朗日乘子法，通过将原始问题转化为求解对偶问题（dual problem）来得到最优解。即可得到线性可分SVM的对偶问题。为何要引入对偶问题？其优点在于： 对偶问题更易求解：只需要求解乘子 α\al
支持向量机（SVM）
jjcoder的专栏
10-06 582
SVM定义是在特征空间上的间隔最大的线性分类器，间隔最大使它区别于感知机； 有的人认为支持向量机是最好的现成分类器，SVM能够对训练集以外的数据点做出很好的决策。先介绍几个概念： 一、数据的可分性： （1）当数据线性可分时，可以学习一个线性可分向量机 （2）当数据不线性可分，可以利用核函数学习一个非线性分类器 二、函数间隔 和几何间隔： A,B,C三个点均在正类一侧，A距离超平面较远，若
一文全解经典机器学习算法之支持向量机SVM（关键词：SVM，对偶、间隔、支持向量、核函数、特征空间、分类）
快乐江湖的博客
04-21 1643
如下图是一个二维平面上的线性可分数据集，那它的决策边界就是一条简单的直线。可这条能将所有训练数据正确区分的直线是不是唯一的呢？显然，答案是否定的，事实上，像这样的能正确 区分数据的直线有无数条这无数条直线中应该选择哪一条作为最优决策边界呢？我想作为一个具有机器学习算法常识的人来说，虽然对SVM还不了解，但凭直觉一定会选择H3H_{3}H3​。之所以不选择H2H_{2}H2​是因为，边界H2H_{2}H2​。
笔记(总结)-SVM(支持向量机)的理解-4
ZSY的大后台
02-03 416
前三篇主要是介绍SVM的原理。最初SVM的原问题是凸二次优化问题，有现成的算法可以求解，费尽周折转换到对偶问题，一是在对偶问题形势下可以使用核函数，二是对偶问题我们可以高效求解。本篇主要介绍如何求解SVM。 SMO：Sequential Minimal Optimization Coordinate Ascent（坐标上升法） 回到我们的对偶问题： maxW(α)=∑iαi−12∑...
matlab程序源码加数据机器学习svm算法
08-17
标题中的“matlab程序源码加数据机器学习svm算法”是指使用MATLAB编程语言，结合提供的数据集，实现和支持向量机（SVM）算法进行机器学习的过程。SVM是一种监督学习模型，常用于分类和回归分析，尤其在小样本学习、...
机器学习 svm实战 课程论文
最新发布
07-06
### 机器学习中的支持向量机(SVM)理论与实战 #### 1. 前言 ##### 1.1 选题背景和意义 在机器学习领域中，支持向量机(Support Vector Machine, SVM)是一种广泛使用的监督学习方法，主要用于分类和回归任务。随着...
6.支持向量机（SVM），推理与思考，Lagrange，核函数
阿欢的博客
10-15 623
支持向量机(Support Vector Machine)于1995年首先提出，基本模型是的定义在特征空间上的间隔最大的线性分类器，SVM的学习策略就是间隔最大化。它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。
支持向量机(SVM)基本原理
xu_fu_yong的专栏
06-29 1194
SVM 看了很多关于SVM的博客，但是常常只能保存书签之后看，有时候有的博客就突然没了，这里就作为搬运工总结一下之后自己看吧。主要内容来自于： 支持向量机通俗导论（理解SVM的三层境界） 分类标准的起源：Logistic回归 线性回归 给定数据集D={(x1,y1),(x2,y2),…,(xm,ym)}D=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, ...
SVM学习
灵魂画师牧码
11-10 295
SVM在sklearn库中主要三个参数 - kernel（核函数linear、RBF） - C（ C是惩罚系数，即对误差的宽容度。c越高，说明越不能容忍出现误差,容易过拟合。C越小，容易欠拟合。C过大或过小，泛化能力变差） - gamma（ gamma是选择RBF函数作为kernel后，该函数自带的一个参数。隐含地决定了数据映射到新的特征空间后的分布，gamma越大，支持向量越少，gamma值
SVM练习
niuyongliang110的博客
02-06 460
SVM学习，核函数使用
SVM学习（一）SVM模型训练与分类
热门推荐
aa997749935的博客
03-08 3万+
SVM模型训练与分类 支持向量机（SVM）： 一个能够将不同类样本在样本空间分隔的超平面。换句话说，给定一些标记好的训练本（监督式学习），SVM算法输出一个最优化的超分隔平面。本次利用VS2015+OpenCV3.4.1实现SVM算法，完成数据集的训练，生成XML文件，然后通过调用XML文件来实现图片的识别分类。即为分三个步骤：数据集的准备、数据集的模型训练以及利用训练好的模型进行测试分类。 目的...
支持向量机——SVM细节解读
予以初始的博客
09-27 1315
SVM Support Vector Machine 前言 在深度学习变得火热之前，SVM是最受欢迎的模型，因为SVM有充分的数学原理支撑，并且可得到全局最优解 (使用梯度下降的线性模型只能得到局部最优解) ，一般用于处理二分类任务，SVM是定义在特征空间上的间隔最大的线性分类器，学习策略就是使间隔最大化。 1 导读 本文是博主看过大量资料之后对SVM做的总结，从初学者的角度、以易理解的方式进行全面介绍，跟着文章手动推导一遍，打通你的任督二脉。 SVM涉及的知识比较多，混起来讲不易理解。本文将解耦开来进
svm的一些理解（网上收集）
u013747358的专栏
05-05 992
机器学习(Machine Learning, ML)的目的是根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它（这种关系）能够对未知输出做出尽可能准确地预测。机器学习至今没有一个精确的公认的定义。作为人工智能(Artificial Intelligence, AI)的一个重要研究领域，ML的研究工作主要围绕学习机理、学习方法和面向任务这三个基本方面进行研究。模式识别、函数逼近和概率密度估
支持向量机（SVM）常见问题
u014203254的博客
01-16 1万+
1 SVM原理 SVM是一种二分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。（间隔最大化是它的独特之处），通过该超平面实现对未知样本集的分类。 当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机。 当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机。 当训练数据线性不可分时，通过使用核技...
机器学习：SVM（基础理解）
ab1213456的博客
08-03 285
一、基础理解 　1）简介 SVM（Support Vector Machine）：支撑向量机，既可以解决分类问题，又可以解决回归问题； SVM 算法可分为：Hard Margin SVM、Soft Margin SVM，其中Soft Margin SVM 算法是由Hard Margin SVM 改进而来； 　2）不适定问题 不适定问题：决策边界不唯一，可能...
机器学习svm源代码
12-31
支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，它可以用于分类和回归分析。SVM能够找到一个超平面，将不同类别的数据点有效地分开。 实现一个简单的SVM源代码，可以基于Python编程语言和scikit-learn库来实现。首先，需要导入所需的库和数据集。然后，对数据进行预处理，如标准化或归一化处理。接下来，使用svm模块中的SVC类来创建一个SVM分类器，并通过fit()方法对数据进行拟合。最后，可以使用该模型对新的数据进行预测，并评估模型的性能。 下面是一个Python实现的简单SVM源代码示例： ```python # 导入所需的库 import numpy as np from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.svm import SVC from sklearn.metrics import accuracy_score # 载入数据集 iris = datasets.load_iris() X = iris.data y = iris.target # 数据预处理 scaler = StandardScaler() X = scaler.fit_transform(X) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 创建SVM分类器 svm_classifier = SVC(kernel='linear', C=1.0) # 拟合数据 svm_classifier.fit(X_train, y_train) # 预测测试集 y_pred = svm_classifier.predict(X_test) # 计算准确率 accuracy = accuracy_score(y_test, y_pred) print("SVM模型的准确率为：", accuracy) ``` 以上是一个简单的SVM源代码实现示例，该代码使用SVM算法对鸢尾花数据集进行分类，并计算了模型的准确率。通过学习和理解这个示例，可以更深入地理解SVM算法的实现原理和应用方法。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值