NeRF-RPN：一个通用的目标检测框架

论文标题：NeRF-RPN: A general framework for object detection in NeRFs

代码：https://github.com/lyclyc52/NeRF_RPN

图1：在NeRF上的 Region proposal 结果

视频演示效果：https://www.youtube.com/watch?v=M8_4Ih1CJjE

NeRF: 火爆科研圈的三维重建技术大揭秘：https://zhuanlan.zhihu.com/p/559025481

NeRF（Neural Radiance Fields神经辐射场）最早是在2020年ECCV会议上的最佳论文中提出的概念，其将隐式表达推上了一个新的高度，仅用2D的posed images作为监督，即可表示复杂的三维场景。

导读

• NeRF RPN：NeRF中第一个用于对象检测的通用框架，它将RPN引入到NeRF中，用于3D对象检测和相关任务。

• NeRF数据集：基于现有的合成室内数据集Hypersim和3D-FRONT&3D-FUTURE，以及为NeRF训练精心策划的真实世界室内数据集 ScanNet，首个用于3D对象检测的大型公共室内NeRF数据集中。

这篇论文提出了一个基于NeRF的通用目标检测框架NeRF-RPN，它在 NeRF 的基础上进行了直接操作。NeRF-RPN的目标是在给定的3D场景中检测所有物体的边界框，而这些场景是通过从RGB图像和相机姿态学习而来的，而不需要3D点云或RGBD图像。本文还引入了一个新的大规模室内NeRF数据集，为NeRF-RPN的训练提供了强大的基础。

本文贡献

• 首次尝试将RPN引入到NeRF中进行3D目标检测：这篇论文是首次重要尝试，将区域建议网络（RPN）引入到从多视图图像中训练的NeRF模型中，以直接进行3D目标检测以及相关任务。这一创新的方法为Ne