NeuIPS2020|生成视图综合

本文由TU，Google Research与NVIDIA等联合提出。

内容创建对于虚拟现实之类的应用程序至关重要。最新的图像合成方法通过从单个输入图像生成新视图，或通过将语义图转换为逼真的图像来简化此任务。本文提出了生成视图综合（GVS），它可以在给定单个语义图的情况下合成场景的多个真实视图。现有的应用（例如语义到图像的翻译以及单眼视图的合成）无法捕获场景的结构。本文的方法与场景3D布局协调地解决了语义到图像的转换，从而产生了保留语义结构的几何上一致的新颖视图。

首先将输入的2D语义图提升到特征空间中场景的3D分层表示中，保留3D几何结构的语义标签。然后将分层特征投影到目标视图上，以生成最终的新颖视图图像。

引言

对数字内容的需求，促使人们来研究内容创建这样的技术，它的一个方法是通过视图合成，艺术家使用少至两张甚至仅一张图像从新视点渲染场景。还可以通过编辑场景的简化表示（例如语义图）方法，然后进行图像到图像的转换来生成逼真的图像，但是无法操纵视点。

这项工作提出了生成视图综合（GVS），它结合了两种方法的优点。给定一个易于编辑且不需要图像捕获的语义图，GVS可以生成具有相同布局的RGB图像，可以从新的任意视角进行。首先使用图像到图像的翻译技术将单视点语义图转换为RGB图像，然后使用单视点视图合成技术生成新的RGB视图。 但是这可能无法准确保留场景的结构，如图1中的动画所示。

​ 图1

本文的主要见解是，尽管不提供有关其光度特性的信息，但语义图对场景的结构特别有用。语义段包含有关遮挡边界的信息。这与RGB图像形成了鲜明的对比，在RGB图像中，边缘也可能来自纹理。利用这种观察来保持多个输出视图之间的几何一致性。

本文先将2D语义提升为具有类似于RGB图像的多平面图像（MPI）的结构的分层3D语义，而不是将语义图转换为RGB图像。与MPI不同，为了放宽内存需求和提高效率，提升的语义使用了混合表示形式，其中包含少量语义层和较大的透明层。将提升的语义转换为分层功能，将其称为分层外观，并将其与透明层结合起来。最后将得到的外观特征投影到目标视图上，并通过小型网络将其转换为RGB图像。

本文对三个不同的多视图数据集执行了实验分析：CARLA，Cityscapes和Virtual-KITTI-2。从定性和定量两个方面表明，与强大的基线技术相比，本文的方法可产生几何和语义上一致的新颖视图图像。 此外演示了可以从单视图语义估计高质量的深度信息。

方法

生成视图综合（GVS），一种采用单个2D语义图并从视点viewpoint生成逼真的图像的方法。

解决此问题的一种方法是直接组合现有技术，即将2D语义转换为2D图像。在参考视图中进行单视点视图合成以生成目标视图。但是，这种方法无法保留语义输入中观察到的某些结构，如图1所示。因为在早期转换为RGB时，会丢失语义图有关场景布局的信息。相比之下，GVS会将语义信息向前传递，并且仅在将其投影到目标视点后才将其转换为RGB。

语义提升网络Semantics Uplifting Network

首先使用2D CNN将输入2D语义提升为分层3D语义，称为语义提升网络（SUN）。使用混合表示，而不是将语义转换为MPI语义。

混合分层3D语义表示。 在MPI的m个深度层中的每一个深度处表示语义信息的内存占用量均为$O（m\times n\times l）$。实际上3D场景几乎是空的，导致MPI中的每个图层稀疏。因此用较少的层$k<m$表示分层的3D语义，称为提升语义$S^{〜r}\in R^{n\times l\times k}$。对于此表示，将输入的2D语义用作第一层，并使用SUN网络预测剩余的层。另一方面，不将透明度α压缩到更少的层，因为它可以作为场景几何的代理，并且只需要每个层中每个像素的标量值即可。用MPI层的原始数量m表示透明度α。透明层也与分层3D外观特征共享。

由于层数不匹配，需要估计一个关联图$\Phi \in R^{n\times k\times m}$，以将提升的语义$〜S^r$转换为MPI语义$ˆ<$