NERF-SUPERVISED FEATURE POINT DETECTION AND DESCRIPTION

regret～

已于 2024-06-08 21:45:38 修改

阅读量756

点赞数 14

文章标签：人工智能深度学习计算机视觉

于 2024-03-27 21:11:53 首次发布

本文链接：https://blog.csdn.net/Word_And_Me_/article/details/137089344

版权

【引用格式】：Youssef A, Vasconcelos F. NeRF-Supervised Feature Point Detection and Description[J]. arXiv preprint arXiv:2403.08156, 2024.

【论文网址】：https://arxiv.org/pdf/2403.08156.pdf

3.4.1 投影适应（Projective Adaptation）

3.4.2 描述符损失（Descriptor Loss）

1、瓶颈问题

目前提出的基于学习的特征点检测和描述方法，大多数都可以在任何单视图数据集上以自我监督的方式进行微调。这是对训练数据应用不同的单应性扭曲来实现的，用已知的点对点映射模拟同一场景的不同视点。虽然这个训练方案简单而且灵活，但是生成的单应性扭曲是多视图视角的粗略简化，会导致模型的通用性有限（限制了模型的泛化能力）。

2、本文贡献

1、创建了一个新的多视图数据集，由10个不同的室内和室外场景的图像组成，共有10000个NeRF合成视图，其包含相应的深度图、内部和外部参数。

2、提出了两种通用方法（端到端和投影适应），使用基于 NeRF 重投影误差的损失函数来训练最先进的特征点检测和描述方法。

3、使用NeRF合成数据重新训练SuperPoint和SiLK的改编版本，并将它们与在更大的MS-COCO数据集上训练的原始基线进行比较。在ScanNet和YFCC100M数据集上的性能优于原始基线，在成对点云配准方面具有相似的性能，而在HPatches单应性估计基准上仅表现略差。

3、解决方案

3.1 NeRF构造的数据集

使用4K分辨率的IPhone 10拍摄了四个室内场景和一个室外场景，用4K分辨率的三星A52拍摄一个室内和一个室外场景；另外使用Blender软件生成室内场景【来自Benedikt Bitterli.Rendering resources,2016.https://benedikt-bitterli.me/resources/】和一个室外场景【来自Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields】。由于本文关注的是场景多样性和最小数据集大小之间的权衡，故没有选择使用现有公开可用的数据集构建不同的数据集。

接下来使用COLMAP【Structure-from-Motion Revisited】软件来获取所有图像的相机位姿，并使用它们生成合成视图。然后对与每一个场景训练了一个NeRFacto模型【具体没说，说是NeRFStudio框架的一部分】，对图像实现重建。

构造的新数据集大小是MS-COCO数据集的1/30倍，是ScanNet数据集的1/250倍。

3.2 NeRF点重投影

给定两个由NeRF合成的视图 I 和 I′，它们具有已知的内参 K 和 K′ 以及外参 R, R′, t, t′。对于图像 I 中的任意特征点 p（以齐次像素坐标表示），我们可以通过NeRF重建得到其深度 d，并且可以将该点表示为3D世界坐标 P：

pc是特征点 p 在相机坐标系下的非齐次坐标
K 是相机的内参矩阵
R 和 t 是相机的旋转和平移向量
[R∣t] 是一个包含旋转矩阵 R 和平移向量 t 的增广矩阵。

接下来，点 P 可以被重新投影到视图 I′ 中：

K′ 是视图 I′ 的内参矩阵
R′ 和 t′ 是对应的外参
P′ 是特征点 P 在视图 I′ 的相机坐标系下的非齐次坐标
P'z 是透视除数，用于将3D点P 转换为2D像素坐标。

3.3 SiLK-PrP

SiLK-PrP是基于SiLK模型的一个变种，它通过NeRF数据集进行训练来适应PrP过程。

SiLK-PrP沿用了SiLK模型的基本架构，但是在训练过程中使用了NeRF合成的图像和相应的重投影误差。其简单的用NeRF渲染和点重投影取代单应性扭曲，保持训练管道和损失函数的其余部分不变。随机抽取来自同一场景的图像对I，I'，然后在训练过程中，使用上面两个公式生成密集的ground-truth点对应关系【用于生成伪标签（自监督）】。

SiLK-PrP以端到端的方式在NeRF数据集上进行训练，总共进行了100000迭代。