[论文笔记]Self-Supervised Drivable Area and Road Anomaly Segmentation using RGB-D Data for Robo_2019RAL

最新推荐文章于 2024-09-18 07:32:40 发布
最新推荐文章于 2024-09-18 07:32:40 发布
阅读量697 收藏 1
点赞数
分类专栏： 笔记 文章标签： 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43146899/article/details/122050115
版权
本文提出一种自监督学习方法，利用RGB-D数据为机器人轮椅自动标注可行驶区域和道路异常，解决了手动标注的耗时问题。通过深度图像处理，提取直线进行道路分割，结合RGB图像进行颜色差异分析，生成道路异常图。实验证明，这种方法在未知区域和可行驶区域的分割上表现优于手动标注，对于道路异常的检测也有显著提升。
摘要由CSDN通过智能技术生成

Self-Supervised Drivable Area and Road Anomaly Segmentation using RGB-D Data for Robotic Wheelchairs

为了训练一个深度神经网络，通常需要一个带有人工标注的地面真值的大规模数据集。然而，生成这样的数据集既费时又费力。为了解决手动贴标耗时耗力的问题。

本文旨在 通过自监督方法自动生成可行驶区域和道路异常的分割标签。

请添加图片描述

这个RGB-D相机同时输出RGB图像和深度图像。

请添加图片描述

本文提出一种自监督的方法来分割可行驶区域和道路异常

自动标记RGB的可行驶区域和道路异常

发布数据集

相关工作

自动标注

现阶段有一些方法可以做到自动标注可行驶区域和道路异常。而且很多方法在模拟器端实现，但是本文将两者结合，而且在真车上实现。

本文工作

数据集构建

第一个机器人轮椅常见道路异常的数据集。包含30个常见场景。

作者将常见的道路异常分为两类:距离可行驶区域表面高度大于15cm的大型道路异常；距可行驶区域表面5厘米至15厘米高度的小路面异常。

请添加图片描述
上图为数据集的各个标志物的像素点统计，但是本文的算法并不使用这些手工标记的ground-truth，手工标注的ground-truth仅用于评估本文提出的自我监督方法。

其中深度数据有两种 ：原始深度数据、归一化的深度数据（0-255）。

RGB-D相机的距离测量范围高达10m。因此，我们移除距离大于10m的像素，并用零值标记它们。至于手工标注的地面真实，我们把未知区域标注为0，可行驶区域标注为1，道路异常标注为2。

本文提出的自监督标签生成器Self-Supervised Label Generator (SSLG)

请添加图片描述

真实世界点P(X，Y，Z)在双目图像坐标(U，V)上的投影可以通过下列公式计算

请添加图片描述

其中 b b b

最低0.47元/天 解锁文章
CwwwwS
关注
专栏目录
[论文笔记]S2P2 Self-Supervised Goal-Directed Path Planning Using RGB-D Data_2021ICRA
weixin_43146899的博客
12-20 849
S2P2: Self-Supervised Goal-Directed Path Planning Using RGB-D Datafor Robotic Wheelchairs 视频链接 基于端到端模仿学习的路径规划的两个局限性： ​ · 需要大量的专家演示作为训练数据 ​ · 现有的方法只能接收高级命令，如左转/右转。对于移动机器人(如机器人轮椅)来说，这些指令可能不够充分，因为它们通常需要精确的目标姿态，就比如向右转面对一个大空地 这个指令描述可能不够准确。 本文基于以上两点，提出S2P2 （Self
自监督论文阅读笔记 Self-Supervised Pretraining for RGB-D Salient Object Detection
YoooooL_的博客
09-14 1080
它们都需要在 ImageNet (Deng et al. 2009) 上进行预训练，以学习下游任务的丰富和高性能的视觉表示。此外，对于 RGB-D SOD 任务，如何充分融合两种模态的特征仍然是一个备受关注的悬而未决的问题，就像跨层特征融合一样。现有的基于 CNN 的 RGB-D 显著对象检测 (SOD) 网络都需要在 ImageNet 上进行预训练，以学习有助于提供良好初始化的层次特征。在六个基准数据集上进行的大量实验表明，本文的自监督预训练模型优于在 ImageNet 上预训练的大多数最先进的方法。
RAD：道路异常事故数据集（猫脸码客 第191期）
最新发布
猫脸码客的博客
09-18 1041
随着智能交通系统和自动驾驶技术的飞速发展，道路安全成为了社会各界关注的焦点。为了确保交通系统的稳定运行和公众的生命财产安全，及时准确地检测并应对道路上的异常情况变得尤为重要。为此，科研人员与数据工程师共同努力，开发了一系列针对道路异常检测的数据集，其中，“Road Anomaly Dataset”（以下简称RAD）便是这一领域中的佼佼者。RAD数据集以其全面、丰富的内容，为道路异常检测算法的研发与测试提供了强有力的支持。
Real-time YOLOP detects traffic object, drivable area, and road lane
jinfagang1211的博客
08-28 269
Real-time YOLOP detects traffic object, drivable area, and road laneYOLOP: You Only Look Once for Panoptic Driving PerceptionarXiv paper abstract https://arxiv.org/abs/2108.11250arXiv PDF paper https://arxiv.org/pdf/2108.11250.pdfGitHub https://github.com/
分割论文：Adapting The Hypersphere Loss Function From Anomaly Detection To Anomaly Segmentation
wang6562009的专栏
02-21 403
Adapting The Hypersphere Loss Function From Anomaly Detection To Anomaly Segmentation
道路异常检测
m0_61008862的博客
03-09 399
发现是数据集的问题修改输入命令为。因为我的inference是。
SS-SFDA-Self-Supervised-Source-Free-Domain-Adaptation-for-Road-Segmentation-in-Hazardous-Environme:论文“ SS SFDA”的代码库
04-12
title={SAfE: Self-Attention Based Unsupervised Road Safety Classification in Hazardous Environments}, author={Kothandaraman, Divya and Chandra, Rohan and Manocha, Dinesh}, journal={arXiv preprint ...
Self-supervised-Fewshot-Medical-Image-Segmentation:[ECCV'20]具有超像素的自我监督
05-16
SSL_ALPNet [ECCV'20]像素的 摘要： 很少使用的语义分割（FSS）在医学成像应用中具有巨大的潜力。 现有的大多数FSS技术都需要大量的带注释的语义类进行训练...如果您认为此代码库很有用，请引用我们的论文。 谢谢！
Self-supervised-Monocular-Trained-Depth-Estimation-using-Self-attention-and-Discrete-Disparity-Volum:CVPR 2020论文的复制品-使用自我注意和离散视差量的自我监督单眼训练深度估计
05-04
该项目是CVPR 2020论文的复制品 使用自我注意和离散视差量的自我监督单眼训练深度估计 阿德里安·约翰斯顿，古斯塔沃·卡内罗 它建议通过完全监督的方法来弥补性能差距，该方法仅使用单眼序列进行训练，并借助附加...
vtk c++ 图像分割_自动驾驶中基于传感器融合的道路分割
weixin_39576149的博客
11-29 428
分割是一个计算机视觉很难的任务，主要是语义信息不容易获得。最近深度学习的发展推动了这个领域的突破，即语义分割（semantic segmentation）和实例分割（instance segmentation），还有最近流行的全景分割（Panoptic segmentation）。语义分割是预测每个像素点的语义类别；实例分割预测每个实例物体包含的像素区域；而全景分割是为每个像素点赋予类别和实例 ，...
Autoware Universe可通行区域Behavior Path Planner在交通沙盘的实现
渡众机器人
01-02 1407
可通行区域（Drivable Area）是自动驾驶技术中的一个核心概念，它指的是车辆可以安全行驶的区域。在Autoware Universe的行为路径规划模块中，这个概念尤为重要，因为它直接影响了车辆的路径规划和决策过程。可通行区域通常是基于车辆当前所在的环境（如道路、车道、交通标志和周围的障碍物）来确定的。它包括了车辆可以安全通行而不会与其他车辆、行人或障碍物发生冲突的路面部分。总体而言，可通行区域在自动驾驶技术中具有重要意义，特别是在模拟环境中的应用，如智能网联沙盘场景。
论文阅读笔记——DLT-Net: Joint Detection of Drivable Areas, Lane Lines, and Traffic Objects)
SmileSmile的博客
01-01 1990
论文阅读笔记——DLT-Net: Joint Detection of Drivable Areas, Lane Lines, and Traffic Objects论文简介引言DLT-Net架构EncoderDecoderDContext TensorsLTLoss Function and Training 论文简介 这是发表在IEEE Transactions on Intelligent Transportation Systems上的一篇论文，将自动驾驶中的主要感知任务——可行驶区域、交通车道线和
ECCV2020：论文解读《Synthesize then Compare: Detecting Failures and Anomalies for Semantic Segmentation》
要相信光
07-27 2235
文章目录原文地址论文阅读方法初识（Abstract & Introduction & Conclusion）相知（Body）2. Related Work3. Methodology3.1 General Framework3.2 Failure Detection3.3 Anomaly Segmentation3.4 Analysis4. Experiments4.1 Failure DetectionEvaluation MetricsThe Cityscape Dataset: the
【论文阅读】《Dynamic Fusion Module Evolves Drivable Area and Road Anomaly Detection》
hgj1h的博客
11-29 2313
《Dynamic Fusion Module Evolves Drivable Area and Road Anomaly Detection: A Benchmark and Algorithms》 2021年T-cybernetics，最近在看这方面综述文章，记录一下。 这篇文章讲的是语义分割来做道路损失检测。 文章net的backbone用的是RTFnet来进行语义分割，文章创新性地将原文中用的热度图改为视差图来进行车道的语义分割。 首先作者对于视差图进行一个预处理，将之转变为一个准鸟瞰图。 该操作
异常检测与分割碰出火花 ECCV:Synthesize then Compare: Detecting Failures and Anomalies for Semantic Segmentation
THE XING
10-26 1104
这篇文章提出了一个新颖的概念。AI system 必须要有 检测失败和异常的功能，比如自动驾驶和医学图像分析。 简述paper流程，基于image和segmentation map。这篇文章玩出了花火，左边是他的检测失败的功能，右边是他的异常检测的功能。 补充一下，这里异常检测的问题被定义为out-of-distribution (OOD) detection。一般的OOD detection目的就是determine是否一张图像是OOD图像。anomaly segmentation 主流方法[1]是 P
学习笔记9--汽车可行驶区域生成
FUXI_Willard
07-23 590
本系列博客包括6个专栏，分别为《自动驾驶技术概览》、《自动驾驶汽车平台技术基础》、《自动驾驶汽车定位技术》、《自动驾驶汽车环境感知》、《自动驾驶汽车决策与控制》、《自动驾驶系统设计及应用》。此专栏是关于《自动驾驶汽车决策与控制》书籍的笔记....
Ａ_LOAM建图同时构建栅格地图(去除动态物体构建可行驶区域)（Lego_Loam也适用）
Discoverhfub的博客
11-18 9379
Ａ_LOAM构建三维点云一般只会用于定位，而小车的导航还是需要二维的栅格地图 octomap_server的安装： sudo apt-get install ros-kinetic-octomap-ros #安装octomap sudo apt-get install ros-kinetic-octomap-msgs sudo apt-get install ros-kinetic-octomap...
学习笔记20--可行驶区域检测
FUXI_Willard
01-12 3339
本系列博客包括6个专栏，分别为：《自动驾驶技术概览》、《自动驾驶汽车平台技术基础》、《自动驾驶汽车定位技术》、《自动驾驶汽车环境感知》、《自动驾驶汽车决策与控制》、《自动驾驶系统设计及应用》，笔者不是自动驾驶领域的专家，只是一个在探索自动驾驶路上的小白，此系列丛书尚未阅读完，也是边阅读边总结边思考，欢迎各位小伙伴，各位大牛们在评论区给出建议，帮笔者这个小白挑出错误，谢谢！ 此专栏是关于《自动驾驶汽车环境感知》书籍的笔记 1.可行驶区域检测 1.1 基于传统计算机视觉的可行驶区域检测 1.1.1 基于直接
道路检测 | SNE-RoadSeg论文阅读
Flamingo的博客
12-13 1551
道路检测 | SNE-RoadSeg: Incorporating Surface Normal Information into Semantic Segmentation for Accurate Freespace Detection论文阅读 论文地址：https://arxiv.org/abs/2008.11351 开源代码：https://github.com/hlwang1124/SNE-RoadSeg 论文作者及研究团队概述： Rui (Ranger) Fan：Postdoc Fellow
SuperPoint: Self-Supervised Interest Point Detection and Description
05-29
It is a self-supervised method, meaning that it learns to detect and describe interest points without any labeled data. Instead, it uses a loss function that encourages the model to produce ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值