2022《OpenScene: 3D Scene Understanding with Open Vocabularies》阅读笔记2

最新推荐文章于 2024-11-08 11:06:20 发布

初篱

最新推荐文章于 2024-11-08 11:06:20 发布

阅读量208

点赞数

分类专栏：视觉语言导航VLN 文章标签：笔记

本文链接：https://blog.csdn.net/qq_44100524/article/details/136340113

版权

视觉语言导航VLN 专栏收录该内容

24 篇文章 74 订阅 ¥19.90 ¥99.00

订阅专栏

本文详细介绍了OpenScene的实现细节，包括3D蒸馏、特征融合和MSeg投票策略。在3D蒸馏中，使用PyTorch、Adam优化器和MinkowskiNet进行训练。特征融合考虑了不同数据集的特性，如深度图和激光雷达点的处理。MSeg投票用于多视图预测，简单提示工程提高了LSeg性能。此外，分析了模型在不同标签集间转移的能力以及多视图融合策略的效果。

摘要由CSDN通过智能技术生成

A. Implementation Details

3D Distillation.

我们基于PyTorch实现。为了提取 $\varepsilon ^{3D}$ ，我们使用Adam[26]作为优化器，初始学习率为1e−4，并训练100个epochs。对于MinkowskiNet，我们对ScanNet和Matterport3D实验使用2cm的体素大小，对nuScenes使用5cm的体素尺寸。对于室内数据集，我们将场景的所有点输入到3D主干以具有完整的上下文，但对于蒸馏损失（Eq.2），由于内存限制，在本文中，我们在每次迭代时仅使用20K均匀采样的点特征进行监督。对于nuScenes，我们输入半秒片段内的所有激光雷达点，并且仅使用最后一个时间戳处的点特征进行训练。我们为ScanNet和Matterport3D使用了一个batch size为8的NVIDIA A100（40G）。对于nuScenes，我们使用16的batch size和4个A100 GPU。训练大约需要24小时，推理需要0.1秒。此外，对于所有数据集，我们在蒸馏过程中只将3D点位置作为MinkowskiNet的输入。