《论文阅读》Complete & Label: A Domain Adaptation Approach to Semantic Segmentation of LiDAR Point Clouds

最新推荐文章于 2023-10-18 11:55:24 发布
最新推荐文章于 2023-10-18 11:55:24 发布
阅读量739 收藏 2
点赞数 1
分类专栏： 深度学习 计算机视觉 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43310834/article/details/119249377
版权

留个笔记自用

Complete & Label: A Domain Adaptation Approach to Semantic Segmentation of LiDAR Point Clouds

做什么

点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。
点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。在这里插入图片描述
一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样
在这里插入图片描述
Point Cloud Completion点云补全
在这里插入图片描述
简单来说就是通过输入不完整的3D点云还原出完整的对象

做了什么

在这里插入图片描述
这里主要关注的是点云领域的domain也就是域问题，不同线的激光雷达会引起较大的差别，就跟Re-ID任务中不同摄像机的域差别一个道理，并且这里是无监督的，将稀疏点云表面重建为标准域下的结果

怎么做

整个体系采用无监督的方式进行，设置源域有一系列带label的点云集合在这里插入图片描述
目标域有一系列没有label的点云集合在这里插入图片描述
每个点x都是三维坐标向量，即x∈RT×3，T是分别点云集的点数，label的y是语义分割的结果，即逐点的Y数分类结果
然后构建一个标准域的存在，希望将两个域也就是源域和目标域的点云都能转换到这个标准域，规定
在这里插入图片描述
在这里插入图片描述
表示这两个域的转换结果，M个点是各个转换结果的稠密点数量
训练方法是用源域的标准域训练网络在这里插入图片描述
然后再应用在目标域的标准域在这里插入图片描述

最后将分割结果映射回去
简单来说，它们是用不同的激光雷达传感器进行的扫描，任务体系的目标就是在目标域也就是没有label的域上实现语义分割的高性能，这个训练是在源域上进行的，这怎么会是无监督呢，这连半监督都算不上吧
接下来进入具体做法，首先是文章的核心，SVCN（sparse voxel completion network），就是如何将不同域点云转换到一个标准域上面的操作
在这里插入图片描述
这就是SVCN网络结构，主要分为两个部分，Structure Generation（生成）和Structure Refinement（强化），前者将点云voxel化后的稀疏点云作为输入，输出更密集的voxel点云。后者就是将这个初步的voxel点云进行修剪强化了。
然后是具体的结构方面，首先是生成网络
在这里插入图片描述
从结构上看，就是一个纯纯的unet，但是做了一些改动，encoder部分将卷积换成了稀疏卷积，decoder部分将反卷积换成了voxel pruning和dense upsampling，也就是voxel修剪
前面的部分都是常见模块，这里主要是修剪层和上采样层，修剪层是针对每个voxel的，在每个voxel上应用一个线性层和sigmoid输出一个存在的概率，然后根据阈值对现有的所有voxel概率进行修剪。训练的时候是手动保留真实voxel和测试的时候就是看概率了，而至于上采样层就是将voxel密集采样化的操作
除了encoder和decoder，还有一个一个skip-connection层，这里需要注意的是传递的voxel有可能在后面被修剪掉了，所以不存在的新voxel会置为0
然后是第二个部分，强化部分
在这里插入图片描述
这里结构的作用是修剪前面修剪的结果，因为训练的时候是直接把GT体素留下其他都删掉的，所以网络可能会离群点敏感，这里就是对这个进行强化，这里的结构相比于前面还是decoder的变化，在稀疏卷积之后加了一个sparse upsampling
所以主要是稀疏上采样层，这里的稀疏上采样是根据encoder层定的，仅仅只上采样到那些高级encoder层存在的voxel
这就是整体SVCN的结构，然后是训练的方式设计
首先规定一下符号在这里插入图片描述
这里zc是标准域下的点云集，zs和zt是源域和目标域下的点云集
在这里插入图片描述
首先第一步就是如何获得这个标准域，这里采用的方法是用现有的数据集进行训练，在一个序列中聚合多个lidar帧，然后利用泊松分布进行平面的重建，用一个阈值或者密度法去掉低采样的平面，然后在平面上离散化采样来平铺一下表面，使表面点分辨率高，至此得到了一个标准的平面点云在这里插入图片描述
然后就是模拟一个雷达传感器将目标域或者源域点云转换到这个标准域上
做法是这样的，首先从一个域中选取出一个点云，在这个点云中选取一个传感器位置，把遮挡点去掉后计算这些极坐标，计算每个点的极坐标（polar）
在这里插入图片描述
这里
在这里插入图片描述
在这里插入图片描述
最后为参考帧中的每个点搜索在完整场景点云中的近邻点，然后模拟采样
然后是训练算法，将每个成对的训练数据在这里插入图片描述
voxel化，然后用voxel的交叉熵来预训练生成网络，然后freeze起来，使用预测的voxel存在概率作为输入来训练具有另一个voxel交叉熵损失的强化网络，除此之外还用了一个局部对抗性学习，也就是局部patch的相似学习
在这里插入图片描述
最后简单看一下整体流程，两个域的点云都经过一个SVCN转换成各自的标准域结果点云，然后用一个Segmentation网络这里选的是MinkowskiNet进行标准域的分割，然后再源域上（带label的）进行分割loss训练，而测试域的标准域结果就是目标结果，再映射回各自的域。

总结

1.非常新奇的做法，一个域自适应的做法，但说实话不是很能看懂是如何做到各种域转标准域的，这篇文章值得发展研究，后续再仔细阅读后再更改笔记内容
2.不禁让人感到奇特的是这是无监督吗。。为什么不做成纯粹的无监督，像常见的Re-ID中的域自适应用聚类的方法进行训练

未知丶丶
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
域自适应相关论文
weixin_42678562的博客
06-09 1018
刚刚接触域自适应方向，相关论文和代码如下：
域自适应——Bidirectional Learning for Domain Adaptation of Semantic Segmentation
kuxingseng123的博客
11-29 536
慢慢的将各种域自适应学习算法都好好研究一波 全部都将其搞定，争取把零样本学习都将其搞透彻。
Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation 论文阅读CVPR2022
MikeCSDN17的博客
09-18 1256
将点云数据体素化后，对得到体素点云进行超体素划分，每个超体素大小为Rs xAs xHs.
论文阅读：Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation
qq_53086461的博客
10-18 779
PVD
论文阅读 2DPASS: 2D Priors Assisted SemanticSegmentation on LiDAR Point Clouds LiDAR
qq_53086461的博客
11-17 2542
由于摄像头和 LiDAR 传感器在自动驾驶中捕获互补信息，因此人们努力通过多模态数据融合进行语义分割。
论文笔记：Cluster Alignment with a Teacher for Unsupervised Domain Adaptation
01-06
Profile  最近因为个人需要看了一些 DADADA 和 DRDRDR 的文章。  这篇文章比较有意思的是：将聚类设计成目标函数，从而一方面实现经网络抽取特征在分布上的自然聚类，一方面因为特征分布的聚类自然提高了分类效果...
An Adversarial Perturbation Oriented Domain Adaptation Approach
10-19
An Adversarial Perturbation Oriented Domain Adaptation Approach for Semantic Segmentation Jihan Yang1,2 , Ruijia Xu1 , Ruiyu Li2 , Xiaojuan Qi3 , Xiaoyong Shen2 , Guanbin Li1∗ , Liang Lin1,4 1School ...
SS-SFDA-Self-Supervised-Source-Free-Domain-Adaptation-for-Road-Segmentation-in-Hazardous-Environme:论文“ SS SFDA”的代码库
04-12
论文 项目页面 在观看整个视频 如果您觉得有用，请引用我们的论文。 @article{kothandaraman2020safe, title={SAfE: Self-Attention Based Unsupervised Road Safety Classification in Hazardous Environments},...
A Survey on Deep Domain Adaptation for LiDAR Perception.pdf
09-25
已有许多关于摄像头图像领域适应的综述论文，但针对激光雷达（LiDAR）感知的综述却尚缺。然而，LiDAR作为自动驾驶的关键传感器，能提供车辆周围详细的3D扫描，对于环境理解至关重要。因此，这篇论文填补了这一空白，...
A Survey on Deep Domain Adaptation for LiDAR Perception.zip
09-23
A Survey on Deep Domain Adaptation for LiDAR Perception.zip
知识蒸馏原理与PVKD论文阅读
～勿据散客～的博客
11-03 1358
通过PVD，属于同一类的特征被拉得更近，而不同类的特征在特征空间中被分开，从而产生一个非常清晰的亲和映射。SuperVoxel的数量一定是一个不小的数目，如果对每一个SuperVoxel都进行亲和蒸馏的损失计算的话，以PVKD的计算方法（本文第1.4部分），再考虑到点云的数量级，恐怕会发生维数灾难！另外，对于问题2，当两模型差异较大的情况下，微小的输入变化可能会使二者的输出有较大的差异。提取按点和体素输出的知识是不够的，因为它只考虑每个元素的知识，不能捕获周围环境的结构信息。
登顶KITTI和NuScenes | 2DPASS：2D先验辅助的激光雷达点云语义分割！ECCV2022
CV_Autobot的博客
07-29 1267
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取论文链接：https://arxiv.org/pdf/2207.04397.pdf代码链接：https://github.com/yanx27/2DPASS1提出背景由于camera和激光雷达在自动驾驶中能够捕获一些互补信息，许多方法通过多模态数据融合方式进行语义分割。然而，基于融合的方法需要成对数据，即具...
论文阅读 | A Curriculum Domain Adaptation Approach to the Semantic Segmentation of Urban Scenes
weixin_30538029的博客
01-23 334
paper链接：https://arxiv.org/pdf/1812.09953.pdf code链接：https://github.com/YangZhang4065/AdaptationSeg 摘要： 在过去的5年里面，卷积神经网络在语义分割领域大获全胜，语义分割是许多其他应用的核心任务之一，这其中包括无人驾驶、增强现实。然而，训练一个卷积神经网络需要大量的数据，而对于这些数据...
大场景三维点云语义分割模型
qq_43232556的博客
06-14 4459
大场景三维点云语义分割模型基于2D的方法SqueezeSeg系列一、简介二、核心思路总结三、要点分析四、总结 近来关于在无人驾驶场景的大场景点云语义分割方法异常火热，也崩出很多好的idea，这些方法大致分为两类，基于2D的和基于3D的。2D的基本思路是将点云按照某种方式投影到2D平面，并应用成熟的2D语义分割网络做处理。3D的方法一般是直接在3D空间提取特征信息。还有一些方法会融合图像的信息来帮助点云的语义分割。 基于2D的方法 SqueezeSeg系列 SqueezeSeg (https://github
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
OccDepth：对标 Tesla Occupancy 的开源 3D 语义场景补全⽅法
3D视觉工坊
03-02 1021
来源丨旷世研究院开源代码 | https://github.com/megvii-research/OccDepth论文链接 | https://arxiv.org/abs/2302.13540点击进入—>3D视觉工坊学习交流群一、背景在 2022 年的 Tesla AI Day 上， Tesla 将 Bev（鸟瞰图） 感知进⼀步升级，提出了基于 Occupancy Network 的感知...
【迁移学习】Self-Supervised Learning for Domain Adaptation on Point Clouds
毛毛的博客
10-27 1142
摘要 我们描述了点云上用于域自适应(DA)的自监督学习(SSL)的第一个研究。我们引入了一类新的伪装任务，形变重建，其灵感来自于sim-to-real 变换中遇到的形变。此外，我们还提出了一种基于混合方法的标签点云数据训练方法，称为点云混合(PCM)。对用于分类和分割的域适应数据集的评估表明，与现有方法和基线方法相比，该方法有了很大的改进。 1.介绍 自监督学习(SSL)最近被证明对于从未标记的图像或视频中学习有用的表征非常有效。关键思想是定义一个辅助的“借口”任务，使用有监督的技术进行训练，然后将学习到的
生信文献学习(part1)--PRECISE: a ... approach to transfer predictors of drug response from pre-clinical ...
小山羊的学习日志
05-29 544
学习笔记，仅供参考，有错必纠 Journal：Bioinformatics Year：2019 Authors：Soufiane Mourragui, Marco Loog, Lodewyk F. A. Wessels 文章目录PRECISE: a domain adaptation approach to transfer predictors of drug response from pre-clinical models to tumorsAbstractIntroductionMaterials
cvpr 2019之迁移学习:contrastive adaptation network for unsupervised domain a
最新发布
01-28
CVPR 2019中发表了一篇题为“迁移学习:无监督领域自适应的对比适应网络（Contrastive Adaptation Network for Unsupervised Domain Adaptation）”的论文。这篇论文主要介绍了一种用于无监督领域自适应的对比适应网络。 迁移学习是指将从一个源领域学到的知识应用到一个目标领域的任务中。在无监督领域自适应中，源领域和目标领域的标签信息是不可用的，因此算法需要通过从源领域到目标领域的无监督样本对齐来实现知识迁移。 该论文提出的对比适应网络（Contrastive Adaptation Network，CAN）的目标是通过优化源领域上的特征表示，使其能够适应目标领域的特征分布。CAN的关键思想是通过对比损失来对源领域和目标领域的特征进行匹配。 具体地说，CAN首先通过一个共享的特征提取器来提取源领域和目标领域的特征表示。然后，通过对比损失函数来测量源领域和目标领域的特征之间的差异。对比损失函数的目标是使源领域和目标领域的特征在特定的度量空间中更加接近。最后，CAN通过最小化对比损失来优化特征提取器，以使源领域的特征能够适应目标领域。 该论文还对CAN进行了实验验证。实验结果表明，与其他无监督领域自适应方法相比，CAN在多个图像分类任务上取得了更好的性能，证明了其有效性和优越性。 综上所述，这篇CVPR 2019论文介绍了一种用于无监督领域自适应的对比适应网络，通过对源领域和目标领域的特征进行对比学习，使得源领域的特征能够适应目标领域。该方法在实验中展现了较好的性能，有望在无监督领域自适应任务中发挥重要作用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值