[CVPR2022]3D Photo Stylization: Learning to Generate Stylized Novel Views from a Single Image

标题：3D Photo Stylization: Learning to Generate Stylized Novel Views from a Single Image

链接：https://arxiv.org/pdf/2112.00169

本文做的是基于单图的新视角合成中的风格迁移。之前的工作在做新视角合成的风格迁移时需要多视角图片，而本文只需要一张图。主要思路是先提取2D图片的深度，然后进行深度图补全以恢复所有视角中的深度信息。之后将深度转化为点云再提取点云特征，并迁移到目标图的风格上去。本文的创新点有两个，一个是提出了一个GCN用来提取大规模的点云特征，另一个是提出了一个基于点的多视角一致性损失。

模型结构

可以看到，这里模型分为了三个大步骤，构建点云，基于点云的风格迁移，渲染。

构建点云

模型中输入的就是一张2D图，作者先使用LeReS模型提取了图片的深度信息，然后使用[3d photography using context-aware layered depth inpainting.]中提到的方法补全了基于层次化的深度图，简而言之就是补全了所有的3D信息。

在获得了所有3D信息之后，作者还对点云按照NDC的方式做了归一化，这一步是为了得到更锐利的重建结果。

基于点云的风格迁移&渲染

可以看到这里也分为三个步骤，先是提取点云特征，然后做风格迁移，最后做渲染。

提取点云特征

这里作者自己设计了一个GCN用于高效的处理大规模点云数据。主要的思路是用了max-relative convolution来节省计算和储存的开销，并且在聚合阶段将基于knn的动态图转换成基于半径的球形查询来进一步减少开销。另外，作者还是用了类似于VGG的层次形结构，避免了重复值的存储。

风格迁移

这里坐着使用的是AdaAttN，本质上就是结合了adain和attention的一个方式，简单来说就是直接对特征图通过做attention的方式来改变特征图的均值和方差从而改变风格（adain的想法）。

渲染

这里用的就是一个UNet，接收点云特征以及相机参数，输出对应的2D图像。

训练

训练分为了两步，第一步是使用3DPhoto生成的多视角图（主要因为没有现成的数据库）来训练模型的新视角生成能力。使用的损失包括像素损失，VGG特征损失，多视角一致性损失（这个损失是指在不同视角下同一个点云的颜色应当一样）

第二部是在编码器固定的情况下训练模型的风格迁移能力，使用的损失包括AdaAttn损失（就是风格迁移损失）和多视角一致性损失