机器学习SVM函数

已于 2022-10-16 12:12:24 修改
阅读量1.9k 收藏 15
点赞数
分类专栏： machinelearning 文章标签： 机器学习 支持向量机 人工智能
于 2022-10-16 12:12:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZGL_cyy/article/details/127342338
版权

目录

1 SVM的损失函数

在SVM中，我们主要讨论三种损失函数：

image_1b1vvangp18tc11dhis2q8h9k22a.png-67.4kB

  • 绿色：0/1损失
    • 当正例的点落在y=0这个超平面的下边，说明是分类正确，无论距离超平面所远多近，误差都是0.
    • 当这个正例的样本点落在y=0的上方的时候，说明分类错误，无论距离多远多近，误差都为1.
    • 图像就是上图绿色线。
  • 蓝色：SVM Hinge损失函数
    • 当一个正例的点落在y=1的直线上，距离超平面长度1，那么1-ξ=1，ξ=0，也就是说误差为0；
    • 当它落在距离超平面0.5的地方，1-ξ=0.5，ξ=0.5，也就是说误差为0.5；
    • 当它落在y=0上的时候，距离为0，1-ξ=0，ξ=1，误差为1；
    • 当这个点落在了y=0的上方，被误分到了负例中，距离算出来应该是负的，比如-0.5，那么1-ξ=-0.5，ξ=1.5.误差为1.5.
    • 以此类推，画在二维坐标上就是上图中蓝色那根线了。
  • 红色：Logistic损失函数
    • 损失函数的公式为：ln(1+e^{-y_i})l**n(1+e−y**i)
    • 当yi=0时，损失等于ln2,这样真丑，所以我们给这个损失函数除以ln2.
    • 这样到yi=0时，损失为1，即损失函数过（0，1）点
    • 即上图中的红色线。

拓展学习：PPT讲义

2 SVM的核方法

2.1 什么是核函数

【SVM + 核函数】 具有极大威力。

核函数并不是SVM特有的，核函数可以和其他算法也进行结合，只是核函数与SVM结合的优势非常大。

2.1.1 核函数概念

核函数，是将原始输入空间映射到新的特征空间，从而，使得原本线性不可分的样本可能在核空间可分。

image-20200204154534315

下图所示的两类数据，分别分布为两个圆圈的形状，这样的数据本身就是线性不可分的，此时该如何把这两类数据分开呢?

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mur7dXzJ-1665845616870)(images/1111.gif)]

  • 假设X是输入空间，
  • H是特征空间，
  • 存在一个映射ϕ使得X中的点x能够计算得到H空间中的点h，
  • 对于所有的X中的点都成立：

image-20190814000426859

若x，z是X空间中的点，函数k(x,z)满足下述条件，那么都成立，则称k为核函数，而ϕ为映射函数：

image-20190814000453473

2.1.2 核函数举例

2.1.2.1 核方法举例1

image-20190814000704864

image-20200204151146946

image-20200204151231279

image-20190814000952741

经过上面公式，具体变换过过程为：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vR0CWJuy-1665845616873)(assets/image-20210811152410276.png)]

2.1.2.2 核方法举例2
  • 下面这张图位于第一、二象限内。我们关注红色的门，以及“北京四合院”这几个字和下面的紫色的字母。
  • 我们把红色的门上的点看成是“+”数据，字母上的点看成是“-”数据，它们的横、纵坐标是两个特征。
  • 显然，在这个二维空间内，“+”“-”两类数据不是线性可分的。

image-20190814001147008

image-20190814001223208

（前后轴为x轴，左右轴为y轴，上下轴为z轴）

  • 绿色的平面可以完美地分割红色和紫色，两类数据在三维空间中变成线性可分的了。
  • 三维中的这个判决边界，再映射回二维空间中：是一条双曲线，它不是线性的。
  • 核函数的作用就是一个从低维空间到高维空间的映射，而这个映射可以把低维空间中线性不可分的两类点变成线性可分的。

image-20190814001302313

2.2 常见核函数

image-20190814003133082

1.多项核中，d=1时，退化为线性核；

2.高斯核亦称为RBF核。

  • 线性核和多项式核：
    • 这两种核的作用也是首先在属性空间中找到一些点，把这些点当做base，核函数的作用就是找与该点距离和角度满足某种关系的样本点。
    • 当样本点与该点的夹角近乎垂直时，两个样本的欧式长度必须非常长才能保证满足线性核函数大于0；而当样本点与base点的方向相同时，长度就不必很长；而当方向相反时，核函数值就是负的，被判为反类。即，它在空间上划分出一个梭形，按照梭形来进行正反类划分。
  • RBF核：
    • 高斯核函数就是在属性空间中找到一些点，这些点可以是也可以不是样本点，把这些点当做base，以这些base为圆心向外扩展，扩展半径即为带宽，即可划分数据。
    • 换句话说，在属性空间中找到一些超圆，用这些超圆来判定正反类。
  • Sigmoid核：
    • 同样地是定义一些base，
    • 核函数就是将线性核函数经过一个tanh函数进行处理，把值域限制在了-1到1上。
  • 总之，都是在定义距离，大于该距离，判为正，小于该距离，判为负。至于选择哪一种核函数，要根据具体的样本分布情况来确定。
  • 一般有如下指导规则：
    • 1） 如果Feature的数量很大，甚至和样本数量差不多时，往往线性可分，这时选用LR或者线性核Linear；
    • 2） 如果Feature的数量很小，样本数量正常，不算多也不算少，这时选用RBF核；
    • 3） 如果Feature的数量很小，而样本的数量很大，这时手动添加一些Feature，使得线性可分，然后选用LR或者线性核Linear；
    • 4） 多项式核一般很少使用，效率不高，结果也不优于RBF；
    • 5） Linear核参数少，速度快；RBF核参数多，分类结果非常依赖于参数，需要交叉验证或网格搜索最佳参数，比较耗时；
    • 6）应用最广的应该就是RBF核，无论是小样本还是大样本，高维还是低维等情况，RBF核函数均适用。

2.3 小结

  • SVM的核方法
    • 将原始输入空间映射到新的特征空间，从而，使得原本线性不可分的样本可能在核空间可分。
  • 常见核函数
    • 线性核
    • 多项式核
    • RBF核
    • Sigmoid核

3 SVM回归

SVM回归是让尽可能多的实例位于预测线上，同时限制间隔违例（也就是不在预测线距上的实例）。

线距的宽度由超参数ε控制。

image-20190814003742055

赵广陆
关注
  • 0
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
理解Hinge Loss (折页损失函数、铰链损失函数)
jacke121的专栏
05-19 6428
理解Hinge Loss (折页损失函数、铰链损失函数) 原文：https://blog.csdn.net/fendegao/article/details/79968994 Hinge Loss是机器学习领域中的一种损失函数，可用于“最大间隔(max-margin)”分类，其最著名的应用是作为SVM的目标函数。 在二分类情况下，公式如下： L(y) =max(0 , 1 –t⋅...
OpenCV机器学习——支持向量机SVM
01-27
OpenCV中集成了多种机器学习算法供我们方便使用，如果我们要训练数据进行分类，不用自己写分类器，只需要调用相应的库和类即可轻松实现。本文重点不在于介绍机器学习原理及数学推导，着重介绍OpenCV中的机器学习相关函数，并且用十分简单的训练数据作为例子实现分类。 对于OpenCV的机器学习分类器，大多换汤不换药，构造方法和实现方法很类似，基本遵循原始数据—训练分类器—进行分类的步骤，某些算法可能有特殊的初始化参数，需要额外设置在实现任何分类器之前，都需要训练数据。插句题外话，训练数据的好坏是一个分类器成功与否的决定性条件，数据选取永远凌驾于分类器算法选取之上，如果训练数据选取得当，无论使用任
Python 机器学习 SVM算法的损失函数
最新发布
weixin_42098295的博客
03-13 1129
SVM的损失函数目的在找到能够最大化边界间隔的最优超平面。最常用的SVM损失函数是合页损失（Hinge Loss）函数，为了避免过拟合，通常在损失函数中加入正则化项，最常见的是L2正则化，其目的是限制模型权重的大小，从而增加模型的泛化能力。梯度下降是一种优化算法，用于最小化SVM的损失函数。通过计算损失函数对于每个参数的梯度，梯度下降算法可以知道如何调整参数以减少损失。在每次迭代中，它都会根据梯度的方向和大小，更新权重和偏置，以此逐步逼近最小损失对应的参数值。
机器学习之支撑向量机SVM
01-07
1 基本概念 支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。 原理 SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。如下图所示，即为分离超平面，对于线性可分的数据集来说，这样的超平面有无穷多个（即感知机），但是几何间隔最大的分离超平面
SVM算法_机器学习_SVM_
10-01
实现线性支持向量机算法，并比较其原始函数与对偶形式函数
opencv 2.4+ c++ svm介绍
911的专栏
10-23 1538
opencv 2.4+ c++ svm介绍 原文 http://www.cnblogs.com/justany/archive/2012/11/23/2784125.html 分类器 分类器是一种计算机程序。 他的设计目标是在通过学习后，可自动将数据分到已知类别。   平面线性分类器 一个简单的分类问题，如图有一些圆圈和一些正方形，如何找一条最优的直线将他们分开？
对SVM损失函数的理解
weixin_45834080的博客
11-12 1万+
SVM损失函数一、什么是SVM二、SVM的损失函数1.Hinge Loss变种优化2.合页损失函数 在机器学习中，SVM（支持向量机）是非常重要的，在处理模型过程中，SVM中在利用损失函数计算经验风险的时候起到了很大的作用，接下来我们来看一下SVM的损失函数。 一、什么是SVM SVM即支持向量机（Support Vector Machine, SVM） 是一类按监督学习（supervised l...
SVM损失函数
tomatotian的博客
11-12 3722
SVM损失函数 支持向量机（SVM）是90 年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。 这里说到的风险就是损失函数，下面让我们来一起了解以下SVM的损失函数。 1.Hinge损失函数 Hinge损失函数又称合页损失函数（hinge loss func...
SVM常用损失函数
cocofisher的博客
12-15 2453
Hinge Loss 表达式为： Li=∑j≠yimax(0,sj−syi+1)L_{i}=\sum_{j\ne y_{i}}max(0, s_{j}-s_{y_{i}}+1)Li​=j​=yi​∑​max(0,sj​−syi​​+1) 实际上可以写成： f(n)=∑j≠yi{0,if syi>sj+1sj−syi+1,otherwisef(n) =\sum_{j\ne y_{i...
公开课机器学习笔记（13）支持向量机三 核函数
BlueLoveyyt的专栏
03-28 1万+
2.2、核函数Kernel 2.2.1、特征空间的隐式映射：核函数     咱们首先给出核函数的来头：在上文中，我们已经了解到了SVM处理线性可分的情况，而对于非线性的情况，SVM 的处理方法是选择一个核函数 κ(⋅,⋅) ，通过将数据映射到高维空间，来解决在原始空间中线性不可分的问题。     此外，因为训练样例一般是不会独立出现的，它们总是以成对样例的内积形式出现，而
【机器学习】2、SVM
呆呆的猫的博客
07-27 6753
SVM是一种监督式的二分类模型，它通过寻找最大间隔分类平面wx+b=0wx+b=0wx+b=0将正负类样本进行区分，对于线性不可分情况，通过核技法将低维空间映射到高维空间，使其线性可分。
机器学习之SVM支持向量机与核函数（吴恩达机器学习）
学习中
11-14 650
机器学习之SVM支持向量机与核函数（吴恩达机器学习）
传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数
qq_44665283的博客
04-26 2703
支持向量机中点到超平面距离公式推导、SVM硬间隔、软间隔模型和损失函数推导及意义详解
SVM通俗详解
热门推荐
WGS.
07-08 8万+
SVM，英文全称为 Support Vector Machine，中文名为支持向量机，由数学家Vapnik等人早在1963年提出。在深度学习兴起之前，SVM一度风光无限，是机器学习近几十年来最为经典的，也是最受欢迎的分类方法之一。 1 SVM与“三八线” 不少人在初识SVM时会感觉到高深难懂。现在，就从你我熟知的“三八线”来走进SVM的思想内涵。 回忆下小时候，同桌同学经常会用粉笔或是小刀在课桌中间划一条“三八线”将课桌一分为二。大家约定好每个人只能在自己的那半课桌领域活动，谁也不能越界，越界是小猪、小狗。
SVM（核函数、高斯核函数RBF）
Toby的博客
07-03 1万+
转载自博客园：https://www.cnblogs.com/volcao/p/9465214.html 机器学习：SVM（核函数、高斯核函数RBF） 一、核函数（Kernel Function） 　1）格式 K(x, y)：表示样本 x 和 y，添加多项式特征得到新的样本 x'、y'，K(x, y) 就是返回新的样本经过计算得到的值； 在 SVM 类型的算法 SVC() 中，K(x, y) 返回点乘：x'.y'得到的值； 　2）多项式核函数 业务问题：怎么分类非线性可分的样本的分类？...
机器学习之SVM的损失函数（Hinge Loss)
Snow_yuki的博客
06-03 5085
损失函数： 是用来衡量一个预测器在对输入数据进行分类预测时的质量好坏。损失值越小，分类器的效果越好，越能反映输入数据与输出类别标签的关系（虽然我们的模型有时候会过拟合——这是由于训练数据被过度拟合，导致我们的模型失去了泛化能力）。 相反，损失值越大，我们需要花更多的精力来提升模型的准确率。就参数化学习而言，这涉及到调整参数，比如需要调节权重矩阵W或偏置向量B，以提高分类的精度。 多类SVM： 它是...
损失函数
sinoai
04-07 481
损失函数一. L11. smooth_l1_loss 一. L1 1. smooth_l1_loss   假设tensorA和tensorC是两个维度相同的张量，tensorC是tensorA与tensorB的差。那么tensorA和tensorC的smooth_l1_loss就是： smooth_l1_loss=∑i=1n{0.5Ci2, ∣Ci∣<1∣Ci∣−0.5,&nbsp...
【深度学习CV】SVM, Softmax损失函数
白辰甲
12-26 1万+
Deep learning在计算机视觉方面具有广泛的应用，包括图像分类、目标识别、语义分隔、生成图像描述等各个方面。本系列博客将分享自己在这些方面的学习和认识，如有问题，欢迎交流。 在使用卷积神经网络进行分类任务时，往往使用以下几类损失函数： 平方误差损失 SVM损失 softmax损失 其中，平方误差损失在分类问题中效果不佳，一般用于回归问题。softmax损失函数和SVM(多分类)损失函数在实际
Softmax损失函数和SVM损失函数
06-03
Softmax损失函数和SVM损失函数都是常用于多分类问题的损失函数，它们的目标都是最小化分类误差。但是它们的形式和计算方式有所不同： Softmax损失函数： $$L=-\frac{1}{N}\sum_i\sum_{j}y_{ij}\log(\frac{e^{f_j}}{\sum_k e^{f_k}})$$ 其中$N$是样本数，$y_{ij}$是第$i$个样本的第$j$个标签，$f_j$是输入特征向量$x$在第$j$个类别上的得分。Softmax损失函数的计算方式是将输入的得分向量$f$经过softmax函数进行归一化，然后将归一化后的概率与真实标签进行比较，计算损失值。Softmax损失函数可以看作是对交叉熵损失函数的一种特例。 SVM损失函数： $$L=\frac{1}{N}\sum_i\sum_{j\neq y_i}\max(0,f_j-f_{y_i}+\Delta)$$ 其中$N$是样本数，$y_i$是第$i$个样本的真实标签，$f_j$是输入特征向量$x$在第$j$个类别上的得分，$\Delta$是一个正则化参数。SVM损失函数的计算方式是将输入的得分向量$f$与真实标签的得分进行比较，如果某个类别的得分高于真实标签的得分加上$\Delta$，则损失为0，否则损失为$f_j-f_{y_i}+\Delta$。SVM损失函数可以看作是对最大间隔分类器的一种实现。 两种损失函数都可以用于多分类任务，但是Softmax损失函数更常用于神经网络，SVM损失函数则更常用于线性分类器。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

赵广陆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值