（SCNN）用于交通场景理解的空间CNN

最新推荐文章于 2024-05-28 11:20:16 发布
最新推荐文章于 2024-05-28 11:20:16 发布
阅读量2.4k 收藏 32
点赞数 19
分类专栏： 笔记 文章标签： 神经网络 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hyd_ashely/article/details/109955719
版权

SCNN


论文地址：
Spatial As Deep: Spatial CNN for Traffic Scene Understanding.

Abstract

现今的CNN模型通常是由卷积块堆叠构建，虽然CNN有强大的特征提取能力，但现存CNN架构没有足够充分探索图像行和列上的空间关系能力。这些关系对于学习强先验形状的对象很重要，尤其是外观(图像像素)连贯性很弱。例如交通线，车道经常会被遮挡，或者压根就没在路上画车道线。

本文提出了Spatial CNN(CNN),它将传统的卷积层接层(layer-by-layer)的连接形式的转为feature map中片连片卷积(slice-by-slice)的形式，使得图中像素行和列之间能够传递信息。这特别适用于检测长距离连续形状的目标或大型目标，有着极强的空间关系但是外观线索较差的目标，例如交通线，电线杆和墙。

scnn与cnn的明显对比如下：
在这里插入图片描述
图片从左到右依次为：输入特征图;CNN输出图；SCNN输出图。

介绍

自动驾驶中最具挑战的任务之一是交通场景理解，包括计算机视觉任务下的车道检测和语义分割。车道检测帮助指导车辆，语义分割提供更多关于周围环境目标的细节位置。但在实际情况下，因为有许多恶劣条件，这些任务可能非常具有挑战性。对于交通场景理解的另一个挑战是，在许多情况下需要在有强结构先验知识下处理外形线索不多的目标，例如交通线，杆状物等，这些具有长距离连续的形状，常常有很大部分被遮挡。

得益于强大的学习表示能力，CNN将视觉理解推向了一个新的高度。但是这依然不能很好地处理外形线索不多的有强结构先验的目标，而人类可以推断它们的位置并填充遮挡的部分。

为了解决这个问题，论文提出了SCNN，将深度卷积神经网络推广到丰富空间层次。

传统的CNN，任意层接收上层的数据作输入，再作卷积并加激活传给下一层，这个过程是顺序执行的。与之类似的是，SCNN将feature map的行或列也看成layer，也使用卷积加非线性激活，从而实现空间上的深度神经网络。这使得空间信息能够在同层的神经元上传播，增强空间信息进而对于识别结构化对象特别有效。

相关工作：

对于车道检测任务，大多数现有的算法都是依赖于低级手工特征，这让模型难以在恶劣条件下工作。2015年有工作尝试使用深度学习方案用于车道检测，但苦于没有大的广泛的数据集(说这个的原因是论文建立了一个大的数据集~)。对于语义分割，基于CNN的方案的已经成为主流并取得了巨大的成功。

对于在深度神经网络中使用空间信息：有工作使用RNN按每列和行传递信息，但每个像素只能接收同一行或列的信息。也有工作使用LSTM变体探索语义分割的上下文信息，但计算消耗较大。也有工作尝试结合CNN和图模型(例如MRF或CRF)，通过大卷积核传递信息.

与上述方案相比，SCNN有如下几个优势：

  • 消息传递比传统的MRF/CRF更有计算效率
  • 消息传递使用的是残差，这更易训练
  • SCNN很灵活，适用于多种深度神经网络

空间卷积神经网络

车道线数据集

本文提出了一个关于交通车道检测的大规模数据集。以前的车道检测数据集(KITTI,CamVid)要不就是太简单，要不就是数据太小。最近的(Caltech,TuSimple)数据集是在交通受限状态下建立的，这样的数据车流量少且路标较为清晰。这些数据集没有包括一些车道线模糊，条件恶劣的情况，而这些情况人类可以推断出来，且这具有很高的实用价值。

论文提出的数据集是由六辆车在北京不同时间录制的，超过55个小时共收集了133,235 张图片，这超过TuSimple 数据集20倍了。论文分成88880张作为训练集, 9675作为验证集，34680做测试集。图像的大小为 1640 × 590 1640×590 1640×590。下图是示例和简介：

在这里插入图片描述

数据集内包括城市、农村和高速公路等场景，北京作为世界上最大和最拥挤的城市之一，对应的车道检测数据提供了很多具有挑战性的交通场景。论文将测试集分为正常和8个具有挑战性的类别，这对应上图 (a)的9个示例情况。图(b)显示的是挑战性的场景站数据集的比例(共72.3%)。

对于每一张图片，使用三条线注释车道，如前面所述，许多情况下车道是被遮挡的或看不见的。而这在实际情况下是很重要的，车道检测算法需要能够在这种情况下工作。对此，标注工作根据上下文也做了标注，如图(2)(4)所示。对于图(1)的情况我们不对障碍的另一边做标注，将精力集中于最受关注的部分。

空间CNN

传统的关于空间关系的建模方法是基于概率图模型的，例如马尔科夫随机场(MRF)或条件随机场(CRF)。最近有工作将概率图与CNN相结合，如图 (a)所示：

在这里插入图片描述
CRF可化为平均场，算法可以用神经网络来实现，具体来说，过程分为：

  1. 标准化：CNN的输出作为一元势函数，并通过Softmax操作标准化
  2. 信息传递：可通过大内核的逐通道卷积实现(对于DenseCRF,内核大小将覆盖整张图片，内核权重取决于图片)
  3. 兼容性转换：使用 1 × 1 1×1 1×1的卷积实现
  4. 添加一元势：整个过程迭代N次得到最终输出

可以看到传统方法在传递信息时，每个像素点接受来自全图其他像素的信息，这在计算上是非常昂贵的，难以应用于实时系统。且对于MRF的大卷积核权重很难学。这些方法是应用在CNN的输出上的，论文认为CNN的隐藏层，包含了丰富的空间关系，可更好的用于处理空间关系。

论文提出了Spatial CNN，这里的Spatial不是指Spatial Convolution，而是CNN通过特征的设计架构传递空间信息。SCNN更有效的学习空间关系，能平滑的找出连续的有强先验的结构目标。SCNN的整体架构如下：

在这里插入图片描述图中SCNN的下表：D、U、R、L分别表示向下、向上、向右、向左。

以SCNN_D为例：

考虑到SCNN应用在三维张量 C × H × W 上， C , H , W 分别代表通道数，长和宽。为了实现空间信息传递，将张量切分成 H片(slice)，先将第一片送到尺寸为 C × w的卷积层( w为卷积核的宽度)。传统的CNN是将这层的输出传递给下一层，而这里是将这片输出相加到下一片作为新的一片。接着下一片继续应用卷积(这里卷积核共享)，直到处理完所有片。
在这里插入图片描述
具体来讲，假设我们有一个三维的张量 K，其中 K i,j,k记为最后一片中通道 i的元素和当前片中通道 j j j的元素之间的权重，这两个元素之间偏移为 k 列。同样的将 X​i,j,k记录为张量X的元素，其中 i , j , k分别指代通道，行，列.
则SCNN的前向计算为：
在这里插入图片描述其中 f是非线性激活函数 ReLU。X加 ′ 代表示更新后的值，注意所有的片共享一组卷积核，SCNN是一种RNN。

分析

SCNN与传统的Dense MRF/CRF相比，在信息传递方向不同，示意图如下所示：

在这里插入图片描述

  • 图(a)：MRF/CRF中每个像素点会直接接收其他所有像素点的信息(大卷积核实现)，这其中有许多冗余计算。
  • 图(b)：在SCNN中，信息是顺序传递的。

假设张量有H行 W列，对于密集的MRF/CRF来讲，在每两个HW像素之间都存在信息传递，对于 niter ​次迭代，传递了 niter ​W2H2次信息。在SCNN中，每个像素只接受来自 w个像素的信息，共传递了 nderWHw次，其中der der指代传递信息的方向的数量，w为卷积核宽度。

niter 范围在10到100之间，在本文中nder设置为4，对应着四个方向。w设置通常不超过10(图中设置为3)。对于一张有上千行和列的图片来说，SCNN可大幅度减少计算量，而每个像素点依旧能够接收来所有其他像素传递的信息(4个方向的信息传递)。

将传递信息作残差

密集的MRF/CRF内是通过所有加权像素相加，这样的计算花费很大。而RNN是通过梯度来优化的， 考虑到这么多层和列，依据残差网络的经验，论文也采用残差的方式来学习(计算公式描述的残差学习)。这种残差可认为是对原始神经元的修正。实验证明这样的消息传递比基于LSTM的要好。

灵活性

归功于SCNN的计算效率，它可以很方便的集成到CNN的任何部分。通常top hidden layer 包含了丰富的语义信息，这是应用SCNN的理想位置。在完整的SCNN模型中我们在顶层的feature map上用了四个方向的SCNN引入空间信息传递。

测试

论文在自发布的lane detection dataset 和CitySpace数据集做了评估。

普通的目标识别只要划分边界,而车道检测需要精准的预测曲线，一个自然的想法是模型输出曲线的概率图，以像素级目标来训练网络，这类似于语义分割任务。我们希望网络能够直接区分不同车道标记，这样鲁棒性更好。共有4中类型的车道线。输出的概率图经过一个小网络预测车道标记是否存在。

在这里插入图片描述
对于存在值大于0.5的车道标记，在对应的概率图每20行搜索以获得最高的响应位置，然后通过三次样条函数连接这些点(cubic splines)。这就是最终的预测。

上图(a)显示了baseline和LargeFOV之间的差异：

  • fc7输出通道为128
  • fc6扩张卷积的扩张率为4
  • 每个ReLU层前加了BN层
  • 添加了一个小型网络用于预测是否存在车道线

训练时，输入和输出的图片分辨率设置为800×288(约为原图的二分之一)。目标线的宽度设置为16。考虑背景和车道标记之间的不平衡标签，背景损失乘以0.4。

评估

为了判断车道标记是否正确的检测到，论文将车道标记视为宽度为30像素的线，计算ground truth和预测值之间的IoU.如果预测的IoU大于某个阈值，则认为是true positives (TP). 如下图6所示，这里设置了0.3和0.5作为阈值，分别对应松散和严格的评估。
在这里插入图片描述

然后使用

在这里插入图片描述为最终评价指标，其中

在这里插入图片描述在这里插入图片描述设置β=1表示调和平均值。

Bruce Jue
关注
专栏目录
【论文解读】SCNN 用于交通场景理解的空间CNN
黎国溥
08-25 2981
前言 Spatial CNN，这里的Spatial不是指Spatial Convolution，而是通过特殊设计的CNN架构传递空间信息，更有效的学习空间关系，简称SCNN；它提出了一种新的神经网络结构用于提取特征。 传统的网络结构是卷积层接收来自前一层的输入，应用卷积运算和激活函数，并将结果发送到下一层；该过程按顺序完成，一层一层传递下去。但SCNN是先对这部分输入特征进切片，再按照下、上、右、左四种顺序进行卷积。 比如：一个三维的特征，相当于一个立方体，先进行横切片，分别进下、上顺序进行卷积。再
论文解读|ICCV2019|Gated-SCNN: Gated Shape CNNs for Semantic Segmentation
Akita·Wang's Semantic Segmentation
01-10 1068
标题：Gate - SCNN:用于语义分割的门控形状CNN 来源：ICCV2019 论文地址：https://arxiv.org/abs/1907.05740 Github：https://github.com/nv-tlabs/GSCNN 项目地址：https://nv-tlabs.github.io/GSCNN/ 文章目录摘要一、引入二、相关工作：1.多任务学习2.门控卷积三、Gated Shape CNN（GSCNN）1.Regular stream2.Shape stream3.Fusion Mo
【论文解读】Spatial As Deep: Spatial CNN for Traffic Scene Understanding（车道线检测SCNN）
weixin_39592328的博客
08-23 2059
Spatial As Deep: Spatial CNN for Traffic Scene Understanding CNN没有充分探索其捕捉图像行和列的像素空间关系的能力，这些关系对于学习具有强形状先验但具弱外观(图像像素)连贯性的语义对象非常重要，例如交通车道，如图1（a）所示，这些交通车道经常被遮挡或甚至不涂在路面上。 在本文中，提出了Spatial CNN（SCNN），它将传统的深层...
【2018-AAAI】Spatial As Deep: Spatial CNN for Traffic Scene Understanding
qq_273058791的博客
10-31 605
提出面向RGB图像针对车道线的语义分割网络SCNN，实现行和列上的信息传递发布车道线检测数据集CULane Dataset（三次样条曲线标注四条线）不足：只有四条车道线；基于语义分割；代码配置？1.分割单通道多通道都还行2.细长结构信息，可解决外显不明显问题3.有益于大目标分割结论：传递空间信息 、易集成、端到端、1st in a challenge。
CNN交通场景解析--Spatial as Deep: Spatial CNN for Traffic Scene Understanding
AI小作坊 的博客
04-25 1079
Spatial as Deep: Spatial CNN for Traffic Scene Understanding AAAI 2018 https://github.com/cardwing/Codes-for-Lane-Detection https://github.com/harryhan618/SCNN_Pytorch https://github.com/XingangPan/SC...
[车道线检测论文学习]SCNN-Spatial As Deep: Spatial CNN for Traffic Scene Understanding
Holeung blog
04-29 2428
（车道线检测）Lane Detection SCNN-Spatial As Deep: Spatial CNN for Traffic Scene Understanding 小声BB：SCNN方法思路很简单，对网络结构的调整也不大，计算量没有太大增加，但该方法并未被广泛应用，故对该方法的有效性存疑… # 这么牛逼又有效为啥要发AAAI… 怀疑的眼神… 关于空间关系的建模 具体分析 Ad...
语义分割--(SCNN)Spatial As Deep: Spatial CNN for Traffic Scene Understanding
热门推荐
DFan的NoteBook
03-16 1万+
SCNN Spatial As Deep: Spatial CNN for Traffic Scene Understanding 收录：AAAI2018 (AAAI Conference on Artificial Intelligence) 原文地址：SCNN 论文提出了一个新颖网络Spatial CNN，在图片的行和列上做信息传递。可以有效的识别强先验结构的目标。论文提出了一个大型...
车道线检测Spatial As Deep: Spatial CNN for Traffic Scene Understanding（论文解读）
sinat_24674017的博客
07-07 1661
论文链接 https://arxiv.org/pdf/1712.06080.pdf 动机 当前基于CNN的语义分割对于图片中处于同一行或同一列的像素关系仍然有待进一步深入探索。这种像素关系的挖掘对于分割多个具有先验性的固定形状但是各个形状之间没有太大耦合性的目标是非常重要的。而车道线就是这一类目标。而目前的语义分割算法对于长条状区域和遮挡区域的分割效果不佳。 在传统的基于马尔可夫随机场或者条件随...
Gate-SCNN：用于语义分割的双流CNN架构应用于Cityscapes基准测试中实现了最先进的性能
1Gate-SCNN：用于语义分割的Towaki Takikawa1，2David Acuna1，3，4Varun Jampani1 <$Sanja Fidler1，3，41 NVIDIA 2滑铁卢大学3多伦多大学4Vector Institutettakikaw@edu.uwaterloo.ca，davidj@cs.toronto.edu，{...
SCNN车道线检测--(SCNN)Spatial As Deep: Spatial CNN for Traffic Scene Understanding（论文解读）...
郭耀华's Blog | 人工智能领域技术博客
04-25 379
Spatial As Deep: Spatial CNN for Traffic Scene Understanding 收录：AAAI2018 (AAAI Conference on Artificial Intelligence) 原文地址：SCNN 论文提出了一个新颖网络Spatial CNN，在图片的行和列上做信息传递。可以有效的识别强先验结构的目标...
Python-Tensorflow实现SpatialAsDeepSpatialCNNforTrafficSceneUnderstandingAAAI2018
08-11
Tensorflow implementation of "Spatial As Deep: Spatial CNN for Traffic Scene Understanding" (AAAI 2018)
SCNN-pytorch:PyTorch中的空间CNN模型使用Cityscapes-dataset
03-18
pytorch-SCNN **于2018/12/15更新。 去做 支持不同的骨干网 支持城市景观 单GPU训练 介绍 这是的PyTorch（0.4.1）实现。它可以使用Modified Aligned ResNet作为主干。目前，我们使用Cityscapes数据集训练SCNN。 安装 该代码已通过Anaconda和Python 3.6进行了测试。安装Anaconda环境后： 克隆仓库： git clone https://github.com/forlovess/SCNN-pytorch.git cd SCNN-pytorch 安装依赖项： 有关PyTorch依赖关系，请参见以获得更多详细信息。 对于自定义依赖项： pip install matplotlib pillow tensorboardX tqdm 训练 请按照以下步骤训练您的模型： 输入参数：（通过python tr
卷积神经网络CNNs-(从AlexNet开始)
07-07
卷积神经网络CNNs-(从AlexNet开始)，最易懂的卷积神经网络介绍
SCNN -Spatial As Deep: Spatial CNN for Traffic Scene Understanding论文阅读+代码复现(车道线检测)
路边的石头
04-24 864
数据集 CULane: 专注四车道问题,并且障碍物另一边的车道没有进行标注 TuSimple 和 Caltech Lanes Dataset 的场景都比较简单 ,相比较来说CULane有更强的实际意义. where f is a nonlinear activation function as ReLU However, deep residual learning (He et al. 2016) has shown its capability to easy the training of very
SCNN网络理解-交通场景的理解
qq_45973897的博客
03-17 2244
空间卷积神经网络（SCNN）是香港中文大学联合商 汤科技集团有限公司在2017年发表在AAAI2018上的论文《Spatial As Deep: Spatial CNN for Traffic Scene Understanding》中提出的。空间CNN主要是用来处理自动驾驶领域中感知任务中的车道线检测任务。论文实现的代码主要是从resnet修改而来。所以需要对resnet有基本的认识。SCNN可以在同一层CNN的神经元之间实现显式有效的空间信息传播。
Spatial As Deep: Spatial CNN for Traffic Scene Understanding论文翻译
qq_43605229的博客
07-29 822
Spatial As Deep: Spatial CNN for Traffic Scene Understanding论文翻译 Abstract摘要 Convolutional neural networks (CNNs) are usually built by stacking convolutional operations layer-by-layer. Although CNN has...
读Spatial As Deep: Spatial CNN for Traffic Scene Understanding(SCNN)和代码
ptgood的博客
07-13 568
Spatial CNN,或者SCNN 给出两篇翻译: 1.https://www.cnblogs.com/guoyaohua/p/8940871.html?utm_source=tuicool&utm_medium=referral 2.https://blog.csdn.net/u011974639/article/details/79580798 原文pdf地址,pytorc...
自动驾驶中结构化BEV交通场景的理解（ICCV 2021）
3D视觉工坊
12-22 2831
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨黄浴@知乎来源丨https://zhuanlan.zhihu.com/p/422992023编辑丨3D视觉工坊ICCV‘21 论...
基于Tensorflow卷积神经网络(CNN)交通标志识别系统
最新发布
qq1744828575的博客
05-28 655
一、项目背景与意义随着智能交通系统（ITS）的快速发展，交通标志的自动识别成为了提高交通安全性和交通管理效率的重要手段。传统的交通标志识别方法往往依赖于人工设计和提取特征，这种方式不仅耗时耗力，而且难以应对复杂多变的交通环境。因此，利用深度学习技术，特别是卷积神经网络（CNN），实现交通标志的自动识别和分类，具有重要的实际应用价值。二、技术方案本项目采用Tensorflow深度学习框架，结合卷积神经网络（CNN），设计并实现了一个交通标志识别系统。具体方案如下：数据准备。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值