[ECCV2020] Deep FusionNet for Point Cloud Semantic Segmentation 笔记

最新推荐文章于 2024-03-10 15:01:57 发布
最新推荐文章于 2024-03-10 15:01:57 发布
阅读量647 收藏 2
点赞数
分类专栏： 三维点云 文章标签： 卷积 神经网络 深度学习 机器学习 cv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37109317/article/details/112965128
版权

文章目录

一、Introduction

(1) motivation

  • 基于体素的卷积操作，一般都是体素水平的预测，而且在体素化过程将许多原始点转移到单个体素上，当体素包含来自不同类的点时，它们会产生模糊或错误的预测（图 1( c )）。其他方法(如PointNets和PointConv)可以采用不规则点进行特征学习。但是它们的高内存和计算成本(如邻域搜索和球查询)限制了它们大规模点云处理的能力和精度。
  • PointNets中的多层感知器(MLP)只保留了最重要的激活，可能会丢失一些用于分割的有用的详细信息。此外，由于这些模型在邻域搜索、采样和球查询操作中具有较高的内存和计算复杂度，因此在训练针对大规模点云的深度和鲁棒网络方面存在局限性(图1(a))。
  • 基于PointConv的研究，额外的内存开销和矩阵乘法将限制对大规模点云的有效网络的训练，并可能由于特征聚合不足而对某些对象产生错误的预测(图1(b))。
    在这里插入图片描述

(2) Advantages

  • 开发了一种深度融合网络架构，该架构具有独特的基于体素的“mini-PointNet”结构，用于点云表示，以及用于特征聚合的新颖融合模块(图2)。
  • 与现有的体素网络相比，FusionNet可以预测点方向的标签，当一个体素有来自不同类别的点时，可以避免那些不明确的/错误的预测。
  • 与流行的PointNets和基于点的卷积相比，FusionNet具有更有效的特征聚合操作(包括高效的邻域体素聚合和细粒度内体素点级聚合)。这些操作有助于提高大规模点云分割的精度。
  • FusionNet充分利用稀疏性属性，减少内存占用。例如，它可以在训练中需要超过100万个点，并且只使用一个GPU来实现最先进的精度。

二、FusionNet

在这里插入图片描述
在这里插入图片描述

(1) Point Cloud Representation

文章中点云表示是一种独特的基于体素的“微型点网”，它有两个步骤：体素化(Voxelization)和mini-PointNet构造。

  • 体素化(Voxelization)：给定范围在Lx × Ly × Lz内的点云P作为输入，将不规则的点转移到分辨率为H×W×D的规则三维体素中。分辨率由体素参数S=(Sx, Sy, Sz)(每个体素的长度/宽度/高度)控制，其中(H, W, D) = (Lx/Sx, Ly/Sy, Lz/Sz)。
  • Mini-PointNet：p = {(px, py, pz), Fp}，(px, py, pz)为点的三维空间坐标，Fp为点特征(如颜色，亮度)。 V = {(Vx, Vy, Vz), FV,{p1, p2, …pm}}，(Vx, Vy, Vz)为体素V的三维空间坐标，{p1, p2, …pm}表示V包含了m个点，Fv是可以从每个体素中的这些点学习到的体素特征。
    基于体素的“小点网”存储在稀疏的数据结构中，以减少内存需求。在特征聚合过程中，不会存储或处理空的或无效的体素。

在这里插入图片描述

(2) Neighborhood Aggregations

  • Voxel Feature Aggregation：基于规则体素的卷积模型需要额外的内存和计算来学习或插值点卷积的权值核，以及通过KNN搜索或ball查询从不规则点云中定位邻域点。为了减少内存占用和开发用于大规模点云分割的深度神经网络，我们使用稀疏子流形卷积层进行基于体素的聚合，仅在激活体素处计算卷积(如图2(a)的步骤ii)。这种方法有助于最小化所需的内存。
    在这里插入图片描述
  • Point Feature Aggragation：对于m点{p1, p2，…pm}在当前体素V中，它们的点特征可以通过我们的Voxel-MLP将邻域体素N(V)中的所有点(例如，如果核大小为3，则为27个邻域体素)聚集起来，如下所示:
    在这里插入图片描述
    其中，h可以解释为点空间编码函数，特征聚集γ可以通过连接层和完全连接层来实现。
    在这里插入图片描述
    现有模型中的球查询、采样或KNN邻域搜索对于不规则点云的点选择需要O(n2)时间复杂度。虽然k-d树可以用来加速复杂度为O(nlog(n))的搜索，但为每一层构建k-d树也会消耗额外的内存和计算量。相比之下，在Voxel-MLP中，所有的邻域点都可以从邻域体素中更有效地直接访问(通过对每个点进行时间复杂度为O(1)(总O(n))的哈希映射)。

(3) Inner-voxel Aggregation

在这里插入图片描述

  • 体素级聚合只学习粗粒体素特征，当体素由不同类的点组成时，这些粗粒体 素特征通常会在对象边界产生模糊/错误的预测。
  • 来自邻域聚合块输出的逐点特征Fp和体素特征Fv(图2(a))。它们被发送到内体素块进行融合和聚合。
  • 首先使用逐点平均池化来从“mini-PointNet”中的m个点获得汇聚的特征向量。
  • 然后，特征向量通过concatenation融合到体素特征Fv中。
  • 经过1×1卷积/FC层的细化后，聚合的体素级特征FAv通过concatenation反馈到“mini-PointNet”中的每个点。
  • 最后，利用点全连接层得到聚合的点特征FAp。
  • 即每个有效体素V有m个点({p1, pk，…pm}∈V)在“mini-PointNet”中，内体素聚合可以表示为:
    在这里插入图片描述
    其中，h为点的空间编码函数，它可以学会通过全连接层点特性Fp和体素的空间转移中心(px−Vx, py−Vy, pz−Vz)作为输入。γ1和γ2是特征融合函数，通过连接层和全连接层实现。
  • 内部体素聚集循环后，体素级特征与点特征深度融合。然后，它们被发送到下一个FusionNet模块/层进行进一步聚合。

(4) Down/Up-sampling

在这里插入图片描述

  • 下采样和上采样在分割的神经网络中是必不可少的，因为它们有助于捕获不同分辨率和接受域的金字塔特征。对于常规体素，我们使用卷积和带大步的转置卷积(例如2)进行向下和向上采样。这些与现有的图像分割模型(如UNet[41])相似，已经被发现是有效的。
  • 图4说明了我们严格遵循体素级采样的点特征降采样。在体素水平降采样后，体素的大小被扩大以得到一个低分辨率的表示。为了实现点级降采样，我们通过重新采样来减少每个体素中的点的数量，从而得到新的“小点网”。例如，我们将每个体素的点数减少到一半，同时确保至少有一个有效点来避免新的空体素(图4( c ))。
  • 与慢速迭代最远采样策略（对于大型点云有时需要1-2秒）相比，FusionNet中的点采样是在每个体素中独立实现的，并且可以由GPU并行计算，速度快（比最远的采样策略快10–100倍）。
  • 基于体素的下采样可以保持点级和体素级网络之间的一致性，这是随机采样和最远采样策略无法实现的。对于点向上采样，使用PointNet 中提出的点插值来恢复高分辨率点表示。

(5) Architecture and Sparse Implementation

  • Architecture：我们使用与[3,7]相同的3D UNet骨架。每个金字塔层使用一个FusionNet模块代替卷积层。点级和体素级特征都通过连接紧密地连接到前一层。
  • Sparse Implementation：图5说明了稀疏数据结构中点和体素的存储。每个体素及其点都可以通过哈希映射快速访问。体素的坐标(包括批处理ID)被用作散列映射的键，查询坐标直接指向每个体素和“mini-PointNet”的位置。
    在这里插入图片描述
    与稠密规则卷积网络相比[46,61]，FusionNet充分利用稀疏性来减少内存需求。它不同于点网[35,37]和点卷积网[13,53]，这些点卷积网需要较高的计算复杂度来进行邻域搜索。FusionNet使用正则体素表示和哈希映射实现O(1)点/体素索引，更适合大规模点云分割任务。

三、Experiments

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

lets go
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ECCV2020语义分割——Deep FusionNet for Point Cloud Semantic Segmentation
Dujing2019的博客
10-21 1720
Deep FusionNet for Point Cloud Semantic Segmentation（一）动机 Motivation（二）创新 Innovation（三）网络 FusionNet3.1 Point Cloud Representation3.2 Neighborhood Aggregations3.3 Inner-voxel Aggregation （一）动机 Motivation 现有方法不足： 尽管基于体素的卷积对于特征聚合很有用，但是如果体素包含来自不同类的点，则它们会产生
ECCV 2020 论文大盘点-语义分割篇
我爱计算机视觉
10-03 2796
最近我们在总结ECCV 2020 的论文，分割类论文总计 93 篇，语义分割几乎占据半壁江山。本文包含43篇语义分割（Semantic Segmentation）相关论文，其中 or...
DeepFusion：基于激光雷达和相机深度融合的多模态3D目标检测
3D视觉工坊
03-31 3164
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨安全与性能研究室来源丨同济智能汽车研究所点击进入—>3D视觉工坊学习交流群编者按：不确定环境下的自动驾驶的自主决策源于对当前环境的准确判断，从根本上来说，环境感知技术是实现自动驾驶需要解决的首要问题。目前基于激光雷达与相机融合的目标感知在高级别自动驾驶汽车的环境感知领域中非常流行，依据传感器到融合中心的数据处理程度从高到低可以划分...
【论文精读】MultiEMO: An Attention-Based Correlation-Aware Multimodal Fusion Framework for Emotion Recogni
最新发布
"You are worthy! You can do it!"
03-10 1400
会话中的情感识别（ERC）是自然语言处理界越来越流行的一项任务，旨在对说话人在会话中表达的话语进行准确的情感分类。大多数现有方法侧重于基于文本模态对说话者和上下文信息进行建模，而多模态信息的互补性没有得到很好的利用，目前很少有方法能够充分捕捉不同模态之间的复杂相关性和映射关系。此外，现有的最先进的ERC模型很难对少数群体和语义相似的情感类别进行分类。
（2021，多原型网络）少样本3D点云语义分割
qq_44681809的博客
12-19 1997
为了缓和难以获取的labelled data的限制以及提升泛化性能，本文提出基于attention的多原型直推式few-shot点云语义分割。特别地，每一个类别由多个原型表示，从而建模labeled points的复杂分布。然后使用label propagation来探索labeled多原型与unlabeled点的关系，以及unlabeled点之间的关系。然后，设计了一个基于attention的多层特征学习网络，用于学习鉴别特征。这些特征包含了点之间的几何依赖性以及语义相关性。
【杂读系列】点云文章杂读
py今天刷题了吗
12-26 1062
文章目录小执着的博客,其它文章也不错！不过有点老了，2，3年前【3D计算机视觉】三维深度学习之pointnet系列详解（一）【3D计算机视觉】三维深度学习之pointnet系列详解（二）【3D计算机视觉】由单张2D图像生成3D点云的深度网络《A Point Set Generation Network for 3D Object Reconstruction from a Single Image》【3D计算机视觉】3P-RNN实现点云场景分割《3D Recurrent Neural Networks wi
open3d之体素化Voxelization有关函数详情（笔记6）
Satellite_H的博客
05-23 3907
open3D
ECCV2020-代码：ECCV 2020论文开源项目合集，同时欢迎各位大佬提交问题，分享ECCV 2020开放项目
02-04
6. ECCV 2020和Deeplearning：会议标签中的“eccv2020”和“Deeplearning”表明了这个压缩包的内容与深度学习在ECCV 2020会议上的应用密切相关，可能包括创新的模型设计、优化算法、模型压缩和量化、以及对现有框架...
VKD:ECCV 2020论文的PyTorch代码
05-04
@inproceedings { porrello2020robust , title = { Robust Re-Identification by Multiple Views Knowledge Distillation } , author = { Porrello, Angelo and Bergamini, Luca and Calderara, Simone } , ...
AdvPC：AdvPC：3D点云上的可传递对抗性扰动（ECCV 2020）
01-28
AdvPC：3D点云上的可传递对抗性扰动（ECCV 2020） 作者：（ ，萨拉·罗哈斯（Sara Rojas），阿里·塔贝（Ali Thabet）， | 。 ECCV 2020论文的正式代码“ ”。 我们利用点云自动编码器对3D点云进行可转移的对抗...
MCIS_wsss:ECCV 2020纸代码（口头）
03-08
MCIS_wsss 用于弱监督语义分割的跨图像语义挖掘代码[ECCV 2020（oral）] CVPR 2020研讨会上最佳论文奖和WSSS获奖者解决方案CVPR2020 LID挑战的轨迹================================================== ============...
GraphMemVOS:带有情景图形存储网络的视频对象分割（ECCV2020焦点）
03-08
GraphMemVOS ECCV 2020焦点文件代码：带有情节图存储网络的视频对象分割测验在requirements.txt文件中安装python（3.6.5），pytorch（版本：1.0.1）和要求。 下载DAVIS-2017数据集。 从下载预训练的模型，并将其放入...
CVPR2021|基于双边扩充和自适应融合方法的点云语义分割网络
qq_29462849的博客
04-06 1089
Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusi...
3D Recurrent Neural Networks with Context Fusion for Point Cloud Semantic Segmentation[ECCV2018]
cxy666
06-06 898
\qquad本文主要有两个创新点，首先利用逐点金字塔池化来捕获不同尺度的局部上下文信息，然后利用两个方向上的层级顺序循环神经网络来融合更大范围的上下文信息。算法在室内室外3D点云数据集上均取得了较好的效果。 \qquad网络首先学习逐点的特征，然后使用逐点的金字塔池化获取不同尺度的上下文信息，将不同尺度的局部信息与点的特征拼接。 \qquad关于金字塔池化，首先将3D空间按照地平面分为1.5m×1.5m1.5m \times 1.5m1.5m×1.5m的块，每个块包含整个房间的高度。进行Pointwis.
深度学习论文: Fast-SCNN: Fast Semantic Segmentation Network及其PyTorch实现
mingo_敏
08-02 2187
深度学习论文: Fast-SCNN: Fast Semantic Segmentation Network及其PyTorch实现 Fast-SCNN: Fast Semantic Segmentation Network PDF:https://arxiv.org/pdf/1902.04502.pdf PyTorch: https://github.com/shanglianlm0525/PyTorch-Networks 1 概述 Fast SCNN 受 two-branch 结构和 encoder-dec
【论文汇总】 ECCV 2020 语义分割paper汇总
int_8的博客
10-15 2513
语义分割 segmentation paper@ECCV 2020 ECCV 2020语义分割文章总结 文章目录语义分割 segmentation paper@ECCV 2020前言边缘语义分割1.JSENet: Joint Semantic Segmentation and Edge Detection Network for 3D Point Clouds2.Improving Semantic Segmentation via Decoupled Body and Edge Supervision弱
DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection总结
qq_43456497的博客
02-12 852
现状：激光雷达和摄像头是关键传感器，可为自动驾驶中的 3D 检测提供补充信息。问题：流行的多模式方法是简单的利用相机特征对原始激光雷达点云做decorate，但我们的研究表明，比起原始的数据，直接将相机的特征和深度雷达特征做融合可以达到更好的效果；然而由于这些特征经常被增强和聚合，融合的一个关键挑战是如何有效对齐两者模态转换后的特征。
3D点云（3D point cloud）及PointNet、PointNet++
verse_armour的博客
12-25 8090
PointNets
点云处理——3D Point Cloud Segmentation
qq_24505417的博客
09-25 3190
任务三：点云语义分割 (3D point cloud semantic segmentation)
eccv2020 pyramidally attended feature extraction(pafe)
12-02
eccv2020 pyramidally attended feature extraction(pafe)是一种用于计算机视觉任务的特征提取方法。这种方法利用金字塔式的结构，进行特征的注意力提取。在金字塔结构中，特征图被分成不同尺度的子图，每个子图都被赋予不同的权重和注意力。这种方法可以帮助模型更好地理解图像中的不同尺度和特征，并提高对图像内容的理解和表征能力。 pafe通过金字塔结构对特征进行多尺度的注意力提取，能够更全面地捕获图像中的细节和整体特征，从而提升了计算机视觉任务的效果。例如，在目标检测和图像分类任务中，pafe可以更准确地定位和识别目标，提高模型的准确率和鲁棒性。 此外，pafe还能够有效地减少计算成本，提高特征提取的效率。通过金字塔结构和多尺度的注意力提取，pafe可以更有效地利用计算资源，提高模型的处理速度和性能表现。 综上所述，eccv2020 pyramidally attended feature extraction(pafe)是一种有效的特征提取方法，通过金字塔结构和多尺度的注意力提取，能够提高模型对图像特征的理解和表征能力，提升计算机视觉任务的效果，并且具有较高的计算效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值