RfD-Net：基于语义实例重构的点云场景理解（CVPR2021）

论文标题：RfD-Net: Point Scene Understanding by Semantic Instance Reconstruction

论文地址：https://arxiv.org/abs/2011.14744

项目地址：https://github.com/yinyunie/RfDNet

摘要

从点云中理解语义场景具有一定发挑战性，因为这些点仅反映了稀疏的底层三维几何体。以前的工作经常将点云转换为规则网格，并采用基于网格的卷积来理解场景。在本研究工作中，研究人员引入了RfD-Net，它可以直接从原始点云中联合检测和重建密集的物体表面。RfD-Net利用点云数据的稀疏性，重点预测具有高对象性的形状。通过这种设计，研究人员将实例重构解耦为全局对象定位和局部形状预测。它不仅减轻了从稀疏三维空间学习二维表面的难度，而且点云中传达了支持隐函数学习的形状细节，以重建任何高分辨率曲面。实验表明，实例检测和重建呈现出互补的效果，其中shape prediction head对使用现有网络主干来改善对象检测具有一致效果。定性和定量评估进一步表明，研究人员的方法始终优于现有的方法，并且在对象重建中提高了超过11个网格IoU。

研究贡献

1. 研究人员提供了一种新的语义姿态重建学习模式。据研究人员所知，它是第一种直接从点云中用几何预测实例语义的学习方法。

2. 研究人员提出了一种新的端到端架构，即RfDNet，从稀疏点云中学习对象语义和形状。它将语义实例重建分解为全局对象定位和局部形状预测，通过这种方式，shape generator支持隐式学习，直接克服了现有技术中的分辨率瓶颈。

3. 联合学习对象的姿势和形状具有互补的优势。它对backbones具有一致的影响，并在实例检测和完成方面达到了最先进的水平，在对象重建中提高了超过11网格IoU。

研究方法

下图说明了RfD-Net的架构。研究方法遵循“从检测中重建”来理解3