STAR: Shape-focused Texture Agnostic Representations for Improved Object Detection and 6D Pose Estim

STAR：面向形状的纹理无关表示，用于改进目标检测和6D姿态估计

摘要：近年来，机器学习的最新进展极大地促进了机器人抓取中的目标检测和6D姿态估计。然而，无纹理和金属物体仍然由于视觉线索较少以及CNN对纹理的偏好而构成显著挑战。为了解决这个问题，我们提出了一种面向学习CAD模型并强调物体形状特征的纹理无关方法。为了实现对形状特征的学习重点，我们在训练数据的渲染过程中对纹理进行了随机化处理。通过将纹理视为噪音，消除了在训练数据生成过程中需要真实物体实例或它们最终外观的需求。我们使用了专为机器人工业环境中设计的、具有无纹理和金属物体的TLESS和ITODD数据集进行评估。纹理无关性还增加了对图像扰动（例如成像噪音、运动模糊和亮度变化）的鲁棒性，这些在机器人应用中很常见。代码和数据集可在github.com/hoenigpeter/randomized_texturing 上公开获取。

图1. 随机纹理方法的图解。使用TLESS数据集中物体编号8的3D边界框可视化的6D姿态；使用以均匀颜色为先验并带有随机纹理训练的GDR-Net的推断结果（绿色），与地面真实值（蓝色）对比。

图2. 利用随机纹理管道生成合成数据。我们绕过了使用CAD网格进行纹理建模或重建的耗时步骤，转而从创意共享纹理数据库中检索纹理，并将其应用于CAD网格模型。与网格重建过程相比，这条路径在计算上更为廉价，后者不仅需要真实对象和覆盖整个对象表面的图像，还需要进行网格重建、后处理和裁剪。这种传统方法在计算上昂贵，并且与CAD模型相比提供质量较低的网格。

图3. 示范性渲染。在随机纹理方法应用于TLESS和ITODD数据集之前和之后的物体纹理。

图4. 检测示例。ITODD测试集中的示例图像，其中显示了由纹理先验的YOLOx和纹理无关变体预测的边界框；检测和IoU阈值都设置为0.5。