CVPR 2021 | pixelNeRF：一种基于NeRF的多视图三维重建网络

项目、论文地址：在公众号「计算机视觉工坊」，后台回复「pixelNeRF」，即可直接下载。

概述

作者提出了pixelNeRF，一个只需要输入单张或多张图像，就能得到连续场景表示的学习框架。由于现存的构建神经辐射场【1】的方法涉及到独立优化每个场景的表示，这需要许多校准的视图和大量的计算时间，因此作者引入了一种新的网络架构。实验结果表明，在所有情况下，pixelNeRF在新视图合成和单图像三维重建方面都优于当前最先进的工作。

简介

该项目主要研究的问题是如何从一个稀疏的输入视图集中合成这个场景的新视图，在可微神经渲染出现之前，这个长期存在的问题一直没有得到进展。同时，最近的神经渲染场NeRF通过编码体积密度和颜色，在特定场景的新视图合成方面表现出很好的效果。虽然NeRF可以渲染非常逼真的新视图，但它通常是不切实际的，因为它需要大量的位姿图像和冗长的场景优化。

在这篇文章中，作者对上述方法进行了改进，与NeRF网络不使用任何图像特征不同的是，pixelNeRF将与每个像素对齐的空间图像特征作为输入。这种图像调节允许框架在一组多视图图像上进行训练，学习场景先验，然后从一个或几个输入图像中合成视图，如下图所示。

PixelNeRF具有很多特点：首先，Pixel可以在多视图图像的数据集上面进行训练，而不需要任何额外的监督；其次，PixelNeRF预测输入图像的摄像机坐标系中的NeRF表示，而不是标准坐标系，这是泛化看不见的场景和物体类别的必要条件，因为在有多个物体的场景中，不存在明确的规范坐标系；第三，它是完全卷积的，这允许它保持图像和输出3D表示之间的空间对齐；最后，PixelNeRF可以在测试时合并任意数量的输入视图，且不需要任何优化。

相关工作

新视图合成：这是一个长期存在的问题，它需要从一组输入视图中构建一个场景的新视图。尽管现在有很多工作都已经取得了逼真的效果，但是存在比较多的问题，例如需要密集的视图和大量的优化时间。

其他方法通过学习跨场景共享的先验知识，从单个或少数输入视图进行新的视图合成，但是这些方法使用2.5D表示，因此它们能够合成的摄像机运动范围是有限的。在这项工作中，作者提出了PixelNeRF，能够直接从相当大的基线中合成新视图。

基于学习的三维重建：得益于深度学习的发展，单视图或多视图的三维重建也得到快速的发展。问题是，很多表示方法都需要3D模型进行监督，尽管多视图监督限制更小、更容易获取，其中的很多方法也需要物体的mask。相比之下，PixelNeRF可以单独从图像中训练，允许它应用到含有两个对象的场景而不需要修改。

以观察者为中心的三维重建：对于3D学习任务，可以在以观察者为中心的坐标系（即视图空间）或以对象为中心的坐标系（即规范空间）中进行预测。大多数现存的方法都是在规范空间中进行预测，虽然这使得学习空间规律更加容易，但是会降低不可见对象和具有多个对象场景的