Learning Lightweight Lane Detection CNNs by Self Attention Distillation(2019/8 ICCV)----阅读笔记

最新推荐文章于 2024-02-25 11:19:51 发布
最新推荐文章于 2024-02-25 11:19:51 发布
阅读量455 收藏 4
点赞数
分类专栏： 知识蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46239293/article/details/118046739
版权

Learning Lightweight Lane Detection CNNs by Self Attention Distillation[2019/8 ICCV]----阅读笔记

Paper and Code

论文链接
Github代码

Abstract

由于车道注释中固有的非常细微和稀疏的监控信号，训练用于车道检测的深度模型具有挑战性。如果没有从更丰富的背景中学习，这些模型在具有挑战性的场景中通常会失败，例如，严重的遮挡、模糊的车道和较差的照明条件。在本文中，我们提出了一种新的知识提取方法，即自我注意提取(self attention distillation SAD)，它允许模型从自身学习，并在没有任何额外的监督或标签的情况下获得实质性的改进。具体来说，我们观察到从训练到合理水平的模型中提取的注意力图将编码丰富的上下文信息。有价值的上下文信息可以作为一种“免费”监督的形式，通过在网络本身内执行自上而下和逐层的注意力提取，用于进一步的表征学习 。SAD可以很容易地结合到任何前馈卷积神经网络(CNN)中，并且不会增加推理时间。我们在三个流行的车道检测基准(TuSimple、CULane和BDD100K)上使用轻量级模型(如ENet、ResNet18和ResNet-34)验证SAD。最轻的模型，ENet-SAD，表现比较好，甚至超过现有的算法。值得注意的是，与最先进的SCNN相比，ENet-SAD的参数少了20倍，运行速度快了10倍[16]，同时在所有基准测试中仍能实现令人信服的性能。

这篇文章对于自动驾驶的车道检测应该有帮助。

Introduction

问题的提出？

车道检测，常将车道检测视为语义分割任务，其中图像中的每个像素被分配有二进制标签，以指示其是否属于车道。这些方法严重依赖车道分割图作为监控信号。
由于车道又长又细，注释车道像素的数量远远少于背景像素。从这种微妙和稀疏的注释中学习成为为任务训练深度模型的主要挑战。一个合理的方法是增加车道注释的宽度。但是，它可能会降低检测性能。

解决方案？

MTL可以提供额外的监控信号，但它需要额外的工作来准备注释，例如，场景分割地图、消失点或可驾驶区域。(VPP)
MP可以帮助在神经元之间传播信息，抵消稀疏监督的效果，更好地捕捉场景上下文。但是，由于MP的开销，极大地增加了推理时间。(SCNN)

SAD的解决方案的提出

在这项工作中，我们提出了一个简单而新颖的方法，允许车道检测网络加强其自身的表示学习，而不需要额外的标签和外部监督。另外，不增加基础模型的推理时间。我们的方法被命名为自我注意蒸馏(Self Attention Distillation SAD)。顾名思义，SAD允许网络利用从其自身层获得的注意力图作为其下层的蒸馏目标。这种注意力提取机制用于补充通常的基于分割的监督学习。
在这里插入图片描述
应用自我注意力蒸馏前后的注意图(Figure 1) 主要讲述了两个重要点:
(1) the attention maps of lower layers are refined, with richer scene contexts captured by the visual attention.
(2) the better representation learned at lower layers in turn benefits the deeper layers.
在这里插入图片描述

通过原文，我得理解就是：
1.浅层网络块(block)模仿mimic深层网络块，使浅层网络块的注意力图更加细致。
2.浅层网络块细致的注意力图更加有利于深层网络块的学习。

贡献点

（1）我们提出了一种新的注意力蒸馏方法，即SAD，以增强基于CNN的车道检测模型的表示学习。SAD只在训练阶段使用，在部署过程中不会带来计算成本，我们的工作是首次尝试使用网络的注意力图作为蒸馏目标。
（2）我们仔细而系统地研究了SAD的内在机制，考虑在不同层次的模拟路径中进行选择，以及将SAD引入培训过程以提高收益的时间点。
（3）我们验证了SAD对提高小车道检测网络性能的有用性。

Related Work（略过）

Lane detection（略过）

Knowledge and attention distillation（略过）

知识蒸馏最初是由[11]提出的，目的是将知识从大网络转移到小网络。通常在知识提炼中，一个小的学生网络模仿大的教师网络的中间输出以及标签。在[7，21]中，学生和教师网络共享相同的容量，模拟是在具有相同维度的层对之间进行的。侯等人[12]还研究了异构网络之间进行知识蒸馏。最近的研究[24，19]将知识蒸馏扩展到注意力蒸馏。例如，谢尔盖等人[24]介绍了两种类型的注意力蒸馏，即基于激活的注意力蒸馏和基于梯度的注意力蒸馏。在这两种提炼中，学生网络是通过学习从教师网络中得到的注意力图来训练的。提出的SAD与[24]的不同之处在于我们的方法不需要教师网络。蒸馏是以分层和自上而下的方式进行的，其中注意力知识是逐层传播的。这在文学上是新的。值得注意的是，我们的重点是研究提取分层注意力用于自学的可能性。这不同于现有的利用视觉注意力来加权特征的研究[4，13，24]。

Methodology

3.0 Lane detection is commonly formulated as a semantic segmentation task：

车道检测通常被表述为语义分割任务：
在这里插入图片描述

input image X
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
s 由输入X（image）每个像素（pixel）的label组成
**Nc**是类的数目
b来表示表示车道存在的二进制标签

3.1 Self Attention Distillation

除了使用上述用语义分割训练车道检测网络的车道存在预测损失来之外，我们还旨在执行分层和自上而下的注意力提取来增强表示学习过程。由于注意力地图来自网络本身，因此建议的SAD不需要任何外部监督或附加标签。一般来说，注意力地图可以分为两类，即基于激活的注意力地图[24]和基于梯度的注意力地图[24]。基于激活的注意力图是通过处理特定层的激活输出获得的，而基于梯度的注意力图是通过使用层的梯度输出获得的。在实验中，我们根据经验发现，基于激活的注意力提取产生了相当大的性能增益，而基于梯度的注意力提取仍然有效。因此，在下面的章节中，我们只讨论基于激活的注意力提取。

[24 ]Sergey Zagoruyko and Nikos Komodakis. Paying more attention to attention: improving the performance of convolutional neural networks via attention transfer. In International Conference on Learning Representations, 2017

Activation-based attention distillation（基于激活的注意力提取）

在这里插入图片描述
Am denote the activation output of the m-th layer of the network (表示网络第m层的激活输出)
Cm, Hmand Wm denote the channel, height and width, respectively (表示通道、高度和宽度)
m denote the number of layers in the network (表示网络中的层数)

The generation of the attention map is equivalent to finding a mapping function :
注意力图的生成相当于找到一个映射函数G:
在这里插入图片描述
该图中每个元素的绝对值代表该元素在最终输出中的重要性。

因此，这个映射函数可以通过计算这些值在通道维度上的统计来构建。下面给出了三种计算方法：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Ami 表示在通道这一维度的第 i-th 切片 ( 也就是通道这一维度的第几个通道 )

三种映射函数之间的差异：
在这里插入图片描述
与Gsum(Am)相比，Gpsum(Am)对激活较高的区域赋予了更多的权重。p越大，对这些高度激活区域的关注就越多。与Gpmax(Am)相比，Gpsum(Am)偏差更小，因为它计算多个神经元的权重，而不是选择这些神经元激活的最大值作为权重。

Adding SAD to training （在训练中加入SAD）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
AT-GEN attention generator

successive layer-wise distillation loss（连续分层蒸馏损失公式）

在这里插入图片描述
在这里插入图片描述

Total Loss

在这里插入图片描述
在这里插入图片描述
交叉熵损失
在这里插入图片描述
Np,Ng,No都是数像素的数量
在这里插入图片描述
二元交叉熵
s 分割图
b 是二进制表示的label

3.2 Lane Prediction

对于CULane，在推理阶段，我们将图像输入到ENet模型中。然后得到多通道概率图和车道存在向量。根据[16]，最终的输出结果如下:首先，我们使用9 × 9核来平滑概率图。那么，对于每一个概率大于0.5车道，我们每20行搜索对应的概率图，寻找概率值最高的位置。最后，我们使用三棱曲线来连接这些位置，以获得最终输出。
在这里插入图片描述

3.3. Architecture Design

最初的ENet模型是由ENet、D1和D2组成的编码器-解码器结构。在[16]之后，我们添加了一个小网络P1来预测车道的存在。编码器模块是共享的，以节省内存空间。除了这种修改，我们还观察到一些有用的技术来修改ENet，以在车道检测任务中获得更好的性能。增加了扩张卷积[22]来代替车道存在预测分支中的原始卷积层，以在不增加参数数量的情况下增加网络的感受野。在最初的设计中，E4E的特征地图的分辨率仅为36 × 100。这导致严重的信息丢失。因此，我们使用特征连接来将E4的输出与E3的输出融合，以便编码器的输出可以受益于在先前层中编码的信息。

4. Experiments

图5显示了我们在实验中使用的三个数据集的几个视频帧：
在这里插入图片描述

在这里插入图片描述

评价指标：accuracy、F1-measure、IoU

在这里插入图片描述

TuSimple 数据集测试

在这里插入图片描述

CULane（F1-measure）数据集测试

在这里插入图片描述

BDD100K 数据集测试

在这里插入图片描述

Ablation Study（消融研究）

AS.1 Distillation paths of SAD

在这里插入图片描述

(1) SAD在中高层工作良好。
(2) 相邻层的蒸馏效果最好。

AS.2 Backward distillation

Backward distillation不好，不可取。

AS.3 SAD v.s. Deep Supervision

在这里插入图片描述
深监督有明显效果提升，但是SAD效果更好

AS.4 When to add SAD

在这里插入图片描述
SAD加入太早，网络学习效率低。但是不管何时加入，最终效果都差不多。

可视化结果对比

在TuSimple（a）和CULane（b）上效果，其中底下数字为accuracy:
在这里插入图片描述
在BDD100K上效果，其中底下数字为accuracy，线条亮度值与概率值大小相关:
在这里插入图片描述

落了一地秋
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
具有自蒸馏的领域不可知聚类_Domain-Agnostic Clustering with Self-Distillation
01-19
具有自蒸馏的领域不可知聚类_Domain-Agnostic Clustering with Self-Distillation.pdf
车道线CULane数据集转换代码
12-14
车道线检测SCNN中使用CULane数据集转换代码，将json文件转换为灰度图像
（3-1）基于智能驾驶和机器人的车道检测算法：车道检测（Lane Detection）介绍
最新发布
码农三叔
02-25 422
车道检测（Lane Detection）是计算机视觉领域中的一个十分重要的任务，通常被广泛应用于自动驾驶、机器人运动控制、高级驾驶辅助系统（ADAS）和智能交通监控等领域中。在本章的内容中，将详细讲解基于智能驾驶、机器人和其他移动智能体的车道检测的知识，为读者步入本书后面知识的学习打下基础。
Self-Distillation: Towards Efficient and Compact Neural Networks
01-15
【论文速递】TPAMI2022 - 自蒸馏：迈向高效紧凑的神经网络 在过去的几年里，深度神经网络取得了显著的成就。然而，神经网络精度的突破总是伴随着计算和参数的爆炸式增长，这导致了模型部署的严重限制。在本文中，我们提出了一种名为自蒸馏的新型知识蒸馏技术来解决这个问题。自蒸馏在神经网络的不同深度附加了几个注意力模块和浅层分类器，并将知识从最深的分类器提炼到较浅的分类器。与传统的知识蒸馏方法不同，教师模型的知识转移到另一个学生模型中，自我蒸馏可以被视为同一模型中的知识转移 - 从深层到浅层。此外，自蒸馏中的附加分类器允许神经网络以动态方式工作，从而导致更高的加速度。实验表明，自蒸馏在各种神经网络和数据集上具有一致且显著的有效性。平均而言，在CIFAR100和ImageNet上观察到3.49%和2.32%的精度提升。此外，实验表明，自蒸馏可以与其他模型压缩方法相结合，包括知识蒸馏、修剪和轻量级模型设计。
Learning Lightweight Lane Detection CNNs by Self Attention Distillation.pdf
04-20
Training deep models for lane detection is challenging due to the very subtle and sparse supervisory signals in- herent in lane annotations. Without learning from much richer context, these models often fail in challenging sce- narios, e.g., severe occlusion, ambiguous lanes, and poor lighting conditions. In this paper, we present a novel knowl- edge distillation approach, i.e., Self Attention Distillation (SAD), which allows a model to learn from itself and gains substantial improvement without any additional supervision or labels. Specifically, we observe that attention maps ex- tracted from a model trained to a reasonable level would encode rich contextual information. The valuable contex- tual information can be used as a form of ‘free’ supervision for further representation learning through performing top- down and layer-wise attention distillation within the net- work itself. SAD can be easily incorporated in any feed- forward convolutional neural networks (CNN) and does not increase the inference time. We validate SAD on three pop- ular lane detection benchmarks (TuSimple, CULane and BDD100K) using lightweight models such as ENet, ResNet- 18 and ResNet-34. The lightest model, ENet-SAD, per- forms comparatively or even surpasses existing algorithms. Notably, ENet-SAD has 20 × fewer parameters and runs 10 × faster compared to the state-of-the-art SCNN [16], while still achieving compelling performance in all bench- marks. Our code is available at https://github. com/cardwing/Codes-for-Lane-Detection.
Perturbed Self-Distillation Weakly Supervised Large-Scale.pdf
11-21
Perturbed Self-Distillation Weakly Supervised Large-Scale Point Cloud Semantic Segmentation
知识蒸馏之自蒸馏
qq_35561971的博客
03-03 2万+
Attention Distillation@TOC Attention Distillation in CVPR\AAAI (from 2021 to 2022) 本文整理了AAAI2021/AAAI2022/CVPR2021中的注意力蒸馏类文章（强调feature-based knowledge distillation）,后续可能会继续更新其他计算机视觉领域顶会中的相关工作，欢迎各位伙伴相互探讨。 背景知识-注意力蒸馏 1.定义：注意力蒸馏 （Attention distillation）：用于把大网
车道线检测Learning Lightweight Lane Detection CNNs by Self Attention Distillation
qq_34034469的博客
10-23 4265
Learning Lightweight Lane Detection CNNs by Self Attention Distillation 摘要 由于车道标注中固有的非常稀疏的监控信号，训练车道检测的深度模型是一个挑战。没有从更丰富的环境中学习，这些模型往往在具有挑战性的场景中失败，例如，严重的遮挡、模糊的车道和糟糕的照明条件。本文提出了一种新的知识蒸馏方法，即自我关注蒸馏（self atte...
CUlane数据集介绍
dream_loverm的博客
05-09 9887
culane数据集是车道线检测的一个比较通用的数据集，是由SCNN这篇论文提出的。它是由安装在六辆由北京不同驾驶员驾驶的不同车辆上的摄像机收集的。 收集了超过55小时的视频，并提取了133,235帧。 数据示例如上所示。 我们将数据集分为88880个训练集，9675个验证集和34680个测试集。 测试集分为正常类别和8个具有挑战性的类别。后来，大多数车道线检测文章都以该数据集为目标展现自己的方法性能。本文记录一下culane数据集，以及图片的标注方式。 数据集内容 culane解压后...
SAD（自我注意力蒸馏）：Learning Lightweight Lane Detection CNNs by Self Attention Distillation
weixin_43786241的博客
09-09 5811
        自我注意力蒸馏来自文章（链接）：Learning Lightweight Lane Detection CNNs by Self Attention Distillation         项目地址：Codes-for-Lane-Detection         说到蒸馏，可能想到最多的就是知识蒸馏、注意力蒸馏，他们三者关系是什么？     &nb
【车道线检测】SAD -- Learning Lightweight Lane Detection CNNs by Self Attention Distillation
热门推荐
筱
08-13 5万+
paper：Learning Lightweight Lane Detection CNNs by Self Attention Distillation Code：github Abstract Without learning from much richer context, these models often fail in challenging scenarios, e.g. ,s...
Structured Attention Knowledge Distillation for Lightweight Netw
01-17
知识蒸馏是通过设计的损失函数将教师网络学到的有效知识转移到学生网络中，帮助学生网络以更低的计算成本获得更好的性能。但是，当学生网络和教师网络在结构和计算量上存在很大差异时，以前的知识蒸馏方法很难有效提高学生网络性能。为了改善这种情况，本文提出了轻量级网络的结构化注意力蒸馏。结构化注意力蒸馏对模型中的特征进行通道分组，通过细化空间注意力图，帮助学生网络学习教师网络的特征提取能力。我们提出的方法是在CIFAR100和大规模人脸识别验证集（LFW，CFP-FP，Age-DB）上进行评估的。与其他蒸馏方法相比，我们提出的方法在CIFAR100和人脸识别验证集上获得了更好的精度。
git-simpleserver:从命令行管理自己的Git服务器
05-18
Git Simple Server —安全管理自己的Git服务器 Git Simple Server（缩写为“ git ss”）使您可以轻松地从命令行在自己的服务器上管理Git存储库。 它是超轻量级的，安全的，只需要一个shell， git和ssh 。...
detect-ua：小型用户代理检测库（1 kB）
02-03
检测用户代理 小型用户代理检测库（1 kB）。 能够区分移动设备，平板电脑和台式设备，并找到您的浏览器名称和版本。安装确保已安装 $ npm install detect-ua用法import { DetectUA } from 'detect-ua' ;...
Trumbowyg：轻巧惊人的WYSIWYG JavaScript编辑器-仅20kB（8kB gzip）
02-21
您可以通过成为支持者或赞助者来支持它的持续发展：赞助商金子银介绍Trumbowyg是一个简单轻巧的WYSIWYG编辑器，重量仅为20kB（8kB gzip），可更快地加载页面。 访问演示页面： : 文献资料您需要了解的有关Trumbowyg...
rn-lightweight-date-picker:轻量级日期范围选择器，不依赖 React Native
08-05
$ npm i rn-lightweight-date-picker --save 例子 state = { minDate : new Date ( 2018 , 12 , 31 ) } onChange ( data ) { const { start , end } = data ; if ( start && data ) api . fetchSchedule ( ...
IMPROVE OBJECT DETECTION WITH FEATURE-BASED KNOWLEDGE DISTILLATION: TOWARDS (2021 ICLR)----论文和博客读书笔记
落了一地秋的博客
06-16 1575
IMPROVE OBJECT DETECTION WITH FEATURE-BASED KNOWLEDGE DISTILLATION: TOWARDS ACCURATE AND EFFICIENT DETECTORSABSTRACTRELATED WORKComparison between the proposed attention-guided distillation and other methods.METHODOLOGYATTENTION-GUIDED DISTILLATION 论文链接 BL
Paying More Attention to Attention (ICLR 2017)------阅读笔记
落了一地秋的博客
06-22 1486
PAYING MORE ATTENTION TO ATTENTION: IMPROVING THE PERFORMANCE OF CONVOLUTIONAL NEURAL NETWORKS VIA ATTENTION TRANSFERPaper and CodeAbstract1 Introduction2 RELATED WORK3 ATTENTION TRANSFER3.1 ACTIVATION-BASED ATTENTION TRANSFER三种空间注意力映射函数的差异根据教师和学生的深度，可以考虑以
Distilling Object Detectors with Fine-grained Feature Imitation(2019 CVPR KD)
落了一地秋的博客
08-30 1254
@[TOC](Distilling Object Detectors with Fine-grained Feature Imitation(2019 CVPR KD)) Abstract 我们表明，将传统的知识蒸馏应用到检测模型中可以获得较小的增益。针对检测模型中知识提取的挑战，提出了一种利用特征响应的交叉位置差异的细粒度特征模仿方法。我们的直觉是，探测器更关心局部近目标区域。因此，近目标锚位置上的特征响应的差异揭示了教师模型倾向于如何概括的重要信息。我们设计了一种新的机制来估计这些位置，并让学生模型在
lightweight-human-pose-estimation.pytorch-master
09-01
lightweight-human-pose-estimation.pytorch-master是一个用于人体姿势估计的Python库。该库基于轻量级的卷积神经网络模型，可以准确地识别图像或视频中的人体关键点。 该库实现了一个多阶段的姿势估计算法，包含了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值