2019-TOG-Adobe-(3D Ken Burns)3D ken burns effect from a single image

2D图片3秒变立体，变换视角流畅自然

ACM主办的计算机图形学顶级期刊TOG

Ken Burns effect
视界燃烧效果

这种特效处理，常常用于纪录片等视频的后期制作，名为Ken Burns Effect。

用单个图像合成逼真的相机移动的效果要解决两个基本问题。

首先，要设置一个新的相机位置，合成新视图，并且需要准确地恢复原始视图的场景几何结构。

其次，根据预测的场景几何结构，要将新视图在连续的时间线上合成，这就涉及到去遮挡这样的图像修复手段。

用以训练的数据集是用计算机生成的。研究人员从UE4 Marketplace2收集了32种虚拟环境，用虚拟摄像机在32个环境中捕获了134041个场景（约13万），包括室内场景，城市场景，乡村场景和自然场景。

指定一张高分辨率图像，首先根据其低分辨率版本估计粗糙深度。这一步由VGG-19来实现，根据VGG-19提取的语义信息指导深度估计网络的训练，并用具有ground truth的计算机合成数据集进行监督。

第二个网络，是Mask R-CNN。
用Mask R-CNN对输入的高分辨率图像进行分割，而后用分割的结果来对深度图进行调整，以确保图中的每个对象都映射到一个相干平面上。

最后，利用深度细化网络，参考输入的高分辨率图像，对提取出的粗糙深度进行上采样，确保深度边界更加精确。
 

有了从输入图像获得的点云和深度图（注：点云指通过3D扫描得到的物品外观表面的点数据集合），就可以渲染连续的新视图了。

结合上下文感知修复的方法。

结合上下文信息能够产生更高质量的合成视图。