清华最新！一种新颖的杂乱场景中的端到端6Dof抓取检测框架

论文作者：Siang Chen|编辑：计算机视觉工坊
添加小助理：dddvision，备注：3D目标检测，拉你入群。文末附行业细分群

扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

标题：Efficient Heatmap-Guided 6-Dof Grasp Detection in Cluttered Scenes
链接：https://arxiv.org/pdf/2403.18546.pdf
代码：https://github.com/THU-VCLab/HGGD

1、导读

本文提出了一种新颖的实时6自由度抓取检测框架，用于杂乱场景中的物体抓取。该框架主要由两个模块组成：抓取热图模型(GHM)和非均匀多抓取生成器(NMG)。GHM通过高效卷积神经网络提取RGBD图像的语义特征，并生成四个抓取热图作为抓取区域的指导。NMG则利用生成的热图将局部点聚合到抓取区域内，并通过轻量级点编码器在局部区域内检测抓取。此外，还设计了一种非均匀锚点采样机制以提高抓取精度和多样性。通过充分利用全局语义信息和局部几何表示，该框架实现了实时高质量的抓取检测，并在两个数据集上取得了 state-of-the-art 的结果。

2、创新点

• 提出了一种新颖的全局到局部语义到点6Dof抓取检测框架，通过低成本的训练过程实时实现最先进的性能。

• 通过所提出的高斯编码和基于网格的策略来预测抓取属性热图，显着提高了编码效率并减少了抓取生成的局部输入大小。

• 具有新颖的非均匀锚点采样机制的局部抓取生成器旨在精确生成密集抓取，并且额外的局部语义到点特征融合使抓取生成更加鲁棒。

3、方法

HGGD架构

以单目RGBD图像作为输入，GHM生成掌握置信度热图Qc和网格属性热图。然后NMG通过相机内在函数c将深度图像传输到点云，在热图的指导下进行区域聚合。特征融合和点编码器从GHM中提取与语义信息融合的区域特征。最后，多抓点生成器与新颖的非均匀锚点采样机制相结合，利用融合特征来输出抓点。

在这里我们详细介绍了本文的方法，包括整体框架、抓取热力图模型、非均匀多抓取生成器、损失函数和实现细节。

1. 整体框架：该方法采用从全局到局部的语义到点的框架，通过输入单目RGBD图像和相机内参c，高效生成高质量的抓取配置G。具体而言，抓取热力图模型（GHM）生成抓取置信度和属性热力图，而非均匀多抓取生成器（NMG）则利用这些热力图来聚合局部点，检测抓取。

2. 抓取热力图模型：GHM采用编码器-解码器结构，包含置信度和属性两个输出分支。高斯编码用于抓取中心，而基于网格的策略用于预测抓取属性，以减少预测误差。

3. 非均匀多抓取生成器：NMG包含热力图引导的区域聚合和多抓取生成器两个部分。区域聚合部分聚合局部点，而多抓取生成器则预测剩余抓取属性，并通过非均匀锚点采样机制和语义到点的特征融合来提高抓取质量。

4. 损失函数和实现细节：损失函数包括热力图损失和锚点损失，实现细节则涉及使用ResNet作为编码器、解码器等。

这些部分共同构成了该方法的关键组成部分。

4、实验

该部分详细介绍了对本文方法进行的评估，包括模拟实验、真实数据集评估和真实机器人抓取实验。

性能评估：该方法在TS-ACRONYM和GraspNet-1Billion数据集上与其他state-of-the-art方法进行比较，结果显示其在各项指标上显著优于其他方法，并具有实时速度。

Ablation 分析：通过逐个添加模块，对方法中每个模块的作用进行了验证，结果显示热力图引导、中心精炼和非均匀锚点采样机制等模块都显著提高了性能。

训练效率：得益于全局到局部的框架，该方法可以在极少数关键抓取标注下快速收敛，并在单个GPU上在4小时内完成训练。

真实机器人抓取实验：在UR-5e机器人上进行了真实抓取实验，结果显示该方法能够有效生成高质量的抓取，并具有高成功率。

这些实验结果充分证明了该方法在杂乱场景下的有效性，并提供了全面和充分的验证。

5、总结

本文提出了一种新颖的杂乱场景中的端到端6自由度抓取姿势检测框架。通过全局到局部和语义到点方案，HGGD在两个代表性数据集中实现了最先进的性能，比以前的所有方法都要快得多。然而，我们的框架是基于单视图和开环的，抑制了更复杂场景中的应用。未来，我们打算将其用于闭环抓取检测，让机器人在接近目标物体的同时调整预测的抓取姿势，并对不断变化的环境做出巧妙的反应。

本文仅做学术分享，如有侵权，请联系删文。

计算机视觉工坊交流群

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、大模型、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

大模型：NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、BEV感知、Occupancy、目标跟踪、端到端自动驾驶等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

▲长按扫码添加助理

3D视觉学习知识星球

3D视觉从入门到精通知识星球、国内成立最早、6000+成员交流学习。包括：星球视频课程近20门（价值超6000）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

▲长按扫码加入星球

3D视觉课程官网：www.3dcver.com

3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪，无人机等。

▲长按扫码学习3D视觉精品课程

3D视觉相关硬件

图片	说明	名称
	硬件+源码+视频教程	精迅V1(科研级)）单目/双目3D结构光扫描仪
	硬件+源码+视频教程	深迅V13D线结构光三维扫描仪
	硬件+源码+视频教程	御风250无人机(基于PX4)
	配套标定源码	高精度标定板(玻璃or大理石)
添加微信:cv3d007或者QYong2014 咨询更多