为什么感知机使用函数间隔作为损失函数(忽略1/||w||)

最新推荐文章于 2021-12-26 10:54:42 发布

zest_9527

最新推荐文章于 2021-12-26 10:54:42 发布

阅读量2.1k

点赞数 9

分类专栏： ML基础文章标签：感知机函数间隔

本文链接：https://blog.csdn.net/zest_9527/article/details/89381088

版权

ML基础专栏收录该内容

2 篇文章 1 订阅

订阅专栏

几何间隔相对于函数间隔的一个区别就是它不受参数（和）缩放影响，所以在SVM 这种优化目标是点到超平面之间的间隔的模型中，采用的是几何间隔。（如果采用函数间隔，学习过程会不断的产生更大的和，根本停不下来）

但是感知机的目标是使误分类的点的个数为0，加不加 $\frac{1}{||w||}$ 对 -y(wx+b) 的正负判定毫无影响。相对的，采用几何间隔反而会使学习过程复杂化。推导如下：

若忽略 $\frac{1}{||w||}$ ，参数的更新如下：

$w_{k}=w_{k-1} + \eta y_ix_i$

$b_{k}=b_{k-1} + \eta y_i$

若不忽略 $\frac{1}{||w||}$ ，参数的更新如下：

$\frac{\partial }{\partial w}||w|| = \frac{w}{||w||}$

$w_{k}=w_{k-1} + \eta y_ix_i(\frac{I}{||w||}-\frac{ww^{T}}{||w||^{3}})+\eta y_ib_{k-1}(-\frac{w}{||w||^3})$

$b_{k}=b_{k-1} + \frac{1}{||w||}\eta y_i$

可见，若不省略 $\frac{1}{||w||}$ ，每次需要进行很复杂的求导，所以通常直接省略，减少计算量。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zest_9527

关注关注

9
点赞
踩
27

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

27 | SVM算法

微信号：RunsenLiu

04-28

1202

今天将介绍另一种简单的线性二分类模型：感知机(Perceptron)，它的要求比较松，只要能找到一个超平面将正负样本分割开就行！它的目标函数形式也简单：f(x)=sign(wTx∗) f(x)=sign(w^Tx^*) f(x)=sign(wTx∗) 同样，这里x∗=[xT,1]Tx^*=[x^T,1]^Tx∗=[xT,1]T，signsignsign表示符号函数，对于t≥0t\geq 0t≥0,有sign(t)=1sign(t)=1sign(t)=1，反之sign(t)=−1sign(t)=-1sign(

3D 对象生成 | NeRF+GAN的超网络：HyperNeRFGAN

最新发布

3D视觉工坊

06-14

842

本文作者：3D视觉工坊@HT | 来源：3D视觉工坊论文题目：《HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN》作者机构：Jagiellonian University (雅盖隆大学)，波兰论文链接：https://arxiv.org/pdf/2301.11631.pdf项目主页：https://github.com/gmum/HyperNeR...

2 条评论您还未登录，请先登录后发表或查看评论

函数间隔与几何间隔及（感知机与支持向量机的区别）

u014675538的博客

03-01

1754

引言支持向量机中讲解了函数间隔与几何间隔，我们在这篇博文中主要讲解函数间隔与几何间隔的区别。本篇博文主要讲解简单的复习知识，大佬勿喷。函数间隔与几何间隔在一个二维平面上，一个点距离超平面的距离的远近可以表示为分类预测的确信程度，距离越远表示越有把握分类正确。|w∗x+b||w∗x+b||w*x+b|表示点xxx距离超平面距离的远近，而(w∗x+b)∗y(w∗x+b)∗y(w*x+b)*...

感知机的损失函数中1/||w||为什么可以忽略

Innovat1on的博客

02-19

1866

最近有想起来了这个问题先贴一下博主：lyg1112的分析对于他说的正负判定很赞同，因为感知器本身就是一个二类线性分类器，能够正确分类就行。并且最重要的一点就是我们知道感知器分类器是一个结果不确定的，也就是它的参数w,b都不是固定的值，只要能分类成功都可以，因此不考虑分母也说得过去还有什么原因想到之后继续补充 ...

感知机中损失函数1/||w||为什么可以不考虑（或直接忽略）？

09-18

5819

以下为个人理解，仅供参考交流。 1、1/||w||不影响-y(w,x+b)正负的判断，即不影响学习算法的中间过程。因为感知机学习算法是误分类驱动的，这里需要注意的是所谓的“误分类驱动”指的是我们只需要判断-y(wx+b）的正负来判断分类的正确与否，而1/||w||并不影响正负值的判断。所以1/||w||对感知机学习算法的中间过程可有可无； 2、1/||w||不影响感知机学习算法的最终结果。因为

感知机中的损失函数中的分母为什么可以不考虑

逗逗的博客

03-10

1711

权重w是一个向量，||w||的大小不会影响向量的方向，确定超平面是通过确定法向量w和截距b来确定的，而||w||的大小对权重w的方向没有任何影响，所以可以固定||w||为1或者不考虑。

损失函数loss大总结

热门推荐

年轻即出发，

06-23

11万+

分类任务loss: 二分类交叉熵损失sigmoid_cross_entropy： TensorFlow 接口： tf.losses.sigmoid_cross_entropy( multi_class_labels, logits, weights=1.0, label_smoothing=0, scope=None, loss_c...

足球视频中的上下文感知损失函数

1131260足球视频中的上下文感知损失函数0Anthony Cioppa*0列日大学0anthony.cioppa@uliege.be0Adrien Deli`ege*0列日大学0adrien.deliege@uliege.be0Silvio Giancola*0silvio.giancola@kaust.edu.sa0Bern0沙特...

监督学习中的损失函数及应用研究

weixin_45585364的博客

03-09

3650

监督学习中的损失函数及应用研究邓建国,张素兰,张继福,荀亚玲,刘爱琴太原科技大学计算机科学与技术学院，山西太原 030024摘要：监督学习中的损失函数常用来评估样本的真实值和模...

从感知机(Perceptron)到支持向量机(SVM)

sz464759898的专栏

04-24

1万+

\quad 本文会介绍感知机和支持向量机的原理，着重阐述这两个算法中的一些逻辑推导思路。1.基础知识：函数距离(functional margins)和几何距离(geometrical margins)假设x∈Rnx\in\mathbb{R}^n，那么显然wTx+b=0w^Tx+b=0是一个超平面。通过推导，空间中的任意一点x(i)x^{(i)}到这个超平面的距离为L=wTx(i)+b||w||L=

机器学习之--损失函数

sunnyxiaohu的博客

03-16

1万+

此文章翻译至机器学习的一章讲义： http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf损失函数。我们能得到一般化的损失函数表达式，如下（14.1），在（14.1）中，我们注意到损失函数有两部分组成：损失项和规则项。我们将会在接下来的章节中介绍这两部分。一、损失项在这一节中，

详解机器学习中的损失函数

毛毛虫_Wendy的博客

08-21

5139

Class Content layout post title 详解机器学习中的损失函数 categories Blog description 机器学习中常见的损失函数以及它们的特点和适用场景 keywords 机器学习 损失函数 风险函数 1. 前言我们知道机器学习的三要素是:方法= 模型+策略+算法,...

《统计学习方法》笔记第二章 —— 感知机

alince20008的博客

12-07

290

主要内容：一、感知机模型二、感知机学习策略（线性可分）三、感知机学习算法（疑问：对偶形式比原始形式更优吗？但为何从”判断误分类点“这一步骤对比，对偶形式的时间复杂度似乎更高呢？）一、感知机模型 1.所谓感知机，其实就是一个在n维空间内的超平面(n-1维)，这个超平面将整个空间分为两部分。 2.该超平面S被定义为：w*x + b = 0。其中，w*x +...

手推SVM（三）-软间隔和损失函数的推导

多元思考力

12-08

5659

1.软间隔的提出上一篇文章（手推SVM（二）-核方法）我们用核方法来解决线性不可分问题，但如果即使映射到高维空间中，仍然有部分点不能完美的区分开呢？如图，无论核函数怎么选取，都不能完美区分开数据，即使能完美的区分开数据，也会很容易导致过拟合的发生，这时候我们该怎么办呢？既然人在做某事的时候，能允许犯一点小错，那模型为什么就不能允许犯一点小错呢？这就是软间隔的想法，既然确实无法区分开，那我

函数间隔和几何间隔

qq_41876354的博客

12-26

1377

根据李航老师书，自己理清一下对于函数间隔和几何间隔部分的理解。超平面超平面关于样本点的函数间隔为：当超平面为时，超平面还是原来那个超平面，但函数间隔已经变为了所以当同比例缩放w和b时，h可以趋向无穷大，这也就没有求函数间隔最大化的意义了。而几何间隔就是超平面到点的物理距离，公式也等于函数间隔除以w的范式，即，当同比例缩放w和b时,间隔是确定的，所以我们发现几何间隔能够更好的分类。用它来做间隔最大化 ...

为什么函数间隔的取值并不影响最优化的解

youhuakongzhi的博客

06-12

1334

原文：https://blog.csdn.net/u013597931/article/details/79689295 2.证明目标函数优化项不受影响：函数距离只是确保正确性的，因此只要保证其大于0即可，为了计算方便取1。为什么随便取值，是因为不管函数距离取1或取2亦或是取其他数值，所得到的一组最优解w和b（只要取一个常数，对应就有w*和b*唯一确定），之间都是成倍数关系的...

第二章 感知机

csdn_lzw的博客

03-29

245

模型：二类分类的线性模型（线性模型+符号函数）策略：基于误分类的损失函数最小化算法：原始形式对偶形式 感知机是神经网络和支持向量机的基础一、模型训练数据集D={(x1,y1),(x2,y2)...(xn,yn)}D={(x1,y1),(x2,y2)...(xn,yn)}D=\{(x_1,y_1),(x_2,y_2)...(x_n,y_n)\} xi∈Rn,yi∈{...

机器学习中常见的损失函数

李鑫o_O

08-16

4619

一、分类算法中的损失函数 在分类算法中，损失函数通常可以表示成损失项和正则项的和，即有如下的形式： J(w)=∑iL(mi(w))+λR(w) 其中，L(mi(w))为损失项，R(w)为正则项。mi的具体形式如下： mi=y(i)fw(x(i)) y(i)∈{−1,1} fw(x(i))=wTx(i)

常用的分类问题中的损失函数

wait1ess的博客

04-20

3万+

原文地址：https://redstonewill.com/1584/ 前言在监督式机器学习中，无论是回归问题还是分类问题，都少不了使用损失函数（Loss Function）。**损失函数（Loss Function）**是用来估量模型的预测值 f(x) 与真实值 y 的不一致程度。若损失函数很小，表明机器学习模型与数据真实分布很接近，则模型性能良好；若损失函数很大，表明机器学习模型与数据真实分...