fast-r-cnn论文中个为什么使用smooth_L1 (x)，smooth_l1是什么？

最新推荐文章于 2022-02-27 14:57:17 发布
最新推荐文章于 2022-02-27 14:57:17 发布
阅读量587 收藏 1
点赞数 1
分类专栏： 深度学习 文章标签： 深度学习 机器学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41612863/article/details/106980429
版权

先把论文中这部分描述摘抄过来，如下图所示：

 

假设我们不适用smooth_L1,考虑L2函数

 

其梯度为

那么会出现一个原文描述的问题，when the regression targets are unbounded,既x很大的时候，会发生梯度爆炸，再考虑L1函数

此时会出现另外一个问题，当x变化很小的时候，梯度依旧很大，此时函数很有可能无法收敛（除非你控制学习率降低的更多，但是这样手工智能显然有点蠢。）

既然L2和L1都有缺点，那么我们各取其优点，结合起来会怎么样呢？

看smooth_L1表达式

 

其梯度

 

刚好回避了之前的缺点，既当x过大的时候，梯度不会爆炸，x很小的时候，也可以拥有很小的梯度（不用担心梯度过小，那时候函数已经收敛了）

天天向上的小白白~
关注
专栏目录
smoothl1函数_r-cnn学习（五）：SmoothL1LossLayer论文与代码的结合理解
weixin_28994767的博客
01-30 367
A Loss Function for Learning Region Proposals训练RPN时，只对两种anchor给予正标签：和gt_box有着最高的IoU && IoU超过0.7。如果对于所有的gt_box，其IoU都小于0.3，则标记为负。损失函数定义如下：其中i为一个mini-batch中某anchor的索引，pi表示其为目标的预测概率,pi*表示gt_box(正为...
smooth_L1_loss_layer.cpp源码阅读
xymdsg的博客
10-31 1363
smooth_L1_loss_layer.cpp源码阅读
Fast RCNN中位置损失为何使用Smooth L1
qq_42440990的博客
04-14 192
Smooth L1的表达式为SmoothL1(x)={0.5x2,if ∣x∣ < 1∣x∣−0.5,otherwiseSmooth_{L_1(x)}=\begin{cases} 0.5x^2, & \text {if $|x|$ < 1} \\ |x|-0.5, & \text{otherwise} \end{cases} SmoothL1​(x)​={0.5x2,∣x∣−0.5,​if ∣x∣ < 1other
smooth L1为什么好？
qq_41574648的博客
08-03 328
之前再看Fast R-CNN的时候，网络bounding boxes回归使用的smooth L1 loss，当时并没有去细想为什么用这个loss而不是l2 loss，这个loss有什么好？直到昨天看别的论文的时候提到smooth L1具有更强的鲁棒性，为什么smooth L1 loss具有更好的鲁棒性呢？上网查了下，下面是知乎的一个回答，感觉非常通俗易懂，所以就转了过来，原文——请问faster rcnn和ssd 中为什么用smooth l1 loss，和l2有什么区别？ smooth L1 loss能从
目标检测之Loss：FasterRCNN中的SmoothL1Loss
热门推荐
BigCowPeking
04-03 1万+
多任务损失（来自Fast R-CNN） multi-task数据结构Fast R-CNN网络有两个同级输出层（cls score和bbox_prdict层），都是全连接层，称为multi-task。① clsscore层：用于分类，输出k+1维数组p，表示属于k类和背景的概率。对每个RoI（Region of Interesting）输出离散型概率分布通常，p由k+1类的全连接层利用softmax...
目标检测为什么使用SmoothL1损失
Lavi的专栏
08-18 4850
首先来看L1 Loss和L2 loss： 从上面的导数可以看出，L2 Loss的梯度包含 (f(x) - Y)，当预测值 f(x) 与目标值 Y 相差很大时，容易产生梯度爆炸，而L1 Loss的梯度为常数，通过使用Smooth L1 Loss，在预测值与目标值相差较大时，由L2 Loss转为L1 Loss可以防止梯度爆炸。 Fast RCNN首先提出了smooth L1损失函数： 如上面的公式...
smooth l1
weixin_34126557的博客
09-24 1175
1.loss要规范化，这样就不会受图片大小的影响 2.w、h采用log：比较特殊的是w,hw,h的regression targets使用了log space. 师兄指点说这是为了降低w,hw,h产生的loss的数量级, 让它在loss里占的比重小些, 不至于因为w,hw,h的loss太大而让x,yx,y产生的loss无用 3.当预测值与目标值相差很大时, 梯度容易爆炸, 因为梯度里包含了x−t....
论文：Fast R-CNN
cztAI的博客
07-01 1045
Fast R-CNN 论文：https://arxiv.org/abs/1504.08083 代码：https://github.com/rbgirshick/fast-rcnn 更多 目标检测 本文提出了一种基于快速区域的卷积网络(Fast R-CNN)目标检测方法。 因为检测需要对目标进行精确定位，所以产生了两个主要的挑战。首先，必须处理许多候选对象位置(通常称为“提议”)。其次，这些候选对象只提供粗定位，必须进行细化才能实现精确定位。这些问题的解决方案往往会牺牲速度、准确性或简洁性。 我们提出了一种
R-CNN，Fast R-CNN，Faster R-CNN 论文解读
JerryZhang__的博客
01-05 748
Faster R-CNN论文解析 paper title：Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks paper link：https://arxiv.org/pdf/1506.01497.pdf 从R-CNN到Fast R-CNN R-CNN paper title: Rich fea...
细讲：RCNN、Fast R-CNN和Faster R-CNN
填坑
02-27 1753
细讲：RCNN、Fast R-CNN和Faster R-CNNR-CNNR-CNN模型结构one-stage ：Region ProposalSelective searchtwo-stage ：Classification and bounding box regressionClassificationbounding box regressionLossFast R-CNNFast R-CNN模型结构RoI featureSVDClassificationbox regressionLossFast
SmoothL1LossLayer论文与代码的结合理解v
kkkkkkkkq的博客
11-28 464
转至：点击打开链接
r-cnn学习（五）：SmoothL1LossLayer论文与代码的结合理解
weixin_30456039的博客
12-06 217
A Loss Function for Learning Region Proposals 训练RPN时，只对两种anchor给予正标签：和gt_box有着最高的IoU && IoU超过0.7。如果对于 所有的gt_box，其IoU都小于0.3，则标记为负。损失函数定义如下： 其中i为一个mini-batch中某anchor的索引，pi表示其为目标的预测概率...
faster rcnn的源码理解（一）SmoothL1LossLayer论文与代码的结合理解
Leo的博客
09-05 3488
源码： [python] view plain copy  print? // ------------------------------------------------------------------   // Fast R-CNN   // Copyright (c) 2015 Microsoft   // Licensed u
Faster-RCNN中关于Log损失函数以及smooth_L1函数的理解
Christo的博客
08-08 738
1，背景 文中有红色线条标出的内容，初看不是很理解，今天就一探究竟。 2，什么是log loss? 直接上图上定义，原来log loss 是一种被广泛用于描述两种离散概率分布的损失函数。 3，什么是smooth L1函数？ 要了解smooth L1函数，我们首先来了解下L1函数，L1损失函数的表达式如下： L1(y^,y)=∑i=1n∣y^−y∣ L_1(\hat y,y) = \displaystyle\sum_{i=1}^n|\hat y - y| L1​(y^​,y)=i=1∑n​∣y^​−y∣
目标检测中的回归损失函数系列一：Smooth L1 Loss
梦坠凡尘
05-11 1万+
SmoothL1 Loss 采用该Loss的模型（Faster RCNN，SSD，，） SmoothL1 Loss是在Faster RCNN论文中提出来的，依据论文的解释，是因为smooth L1 loss让loss对于离群点更加鲁棒，即：相比于L2 Loss，其对离群点、异常值（outlier）不敏感，梯度变化相对更小，训练时不容易跑飞。 假设x是预测框与 groud truth 之间 elementwise 的差异，那么对比L1/L2/SmoothL1 Loss如下： 对应的曲线图如下： 对三个lo
SmoothL1损失 总结
不佛的博客
12-01 1780
SmoothL1SmoothL_1SmoothL1​损失函数是L1L_1L1​损失（平均绝对误差MAE）和L2L_2L2​损失（均方误差MSE）的结合。 图形就是二次函数和绝对值函数的拼凑，比较简单，主要解释一下为什么这么改。 L1L_1L1​损失的特点是： 梯度稳定，几乎处处相等，不易梯度爆炸。 收敛慢，在0附近会震荡。 L2L_2L2​损失的特点是： 误差越大，梯度越大，收敛较快，在0附近收敛稳定。 对离群点比较敏感，离群点会显著增加损失，并且梯度过大，容易爆炸。 综合两者特点，我们希望在0
梳理L1、L2与Smooth L1
深海游鱼
07-04 1548
梳理L1、L2与Smooth L1 关于L1、L2的范数、损失函数和正则化，之前一直混淆这几个概念，故对这几天看过的资料进行了梳理。 范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。 首先以L2范数为例对范数做一个简单的说明： L2范数: 假设XXX是n维的特征X=(x1,x2,x3,…,xn)X=(x_1,x_2,x_3,…,x_n)X=(x1​,x2​,
smooth L1 loss是什么以及为什么好
qq_20481015的博客
08-29 3189
转载链接：https://www.jianshu.com/p/19483787fa24 smooth L1 loss能从两个方面限制梯度： 当预测框与 ground truth 差别过大时，梯度值不至于过大； 当预测框与 ground truth 差别很小时，梯度值足够小。 考察如下几种损失函数，其中 损失函数对 x 的导数分别为： 观察 (4)，当 x...
在Fast R-CNN中，损失函数被设置为了什么
最新发布
07-16
在Fast R-CNN中，使用了多个损失函数来训练目标检测模型。具体而言，Fast R-CNN的损失函数由以下几部分组成： 1. 分类损失（Classification Loss）：用于衡量分类预测的准确性。Fast R-CNN使用的是多类别的Softmax...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值