超级会员免费看
博客介绍了如何使用深度学习和计算机视觉技术，从单个2D图像中创建逼真的3D Ken Burns效果。通过VGG-19和Mask R-CNN网络估计深度图，再进行上下文感知修复，最终渲染出连续的新视图。该技术涉及深度估计、图像分割、点云渲染和邻域扩展等多个步骤。
2D图片3秒变立体，变换视角流畅自然
ACM主办的计算机图形学顶级期刊TOG
Ken Burns effect
视界燃烧效果
这种特效处理，常常用于纪录片等视频的后期制作，名为Ken Burns Effect。
用单个图像合成逼真的相机移动的效果要解决两个基本问题。
首先，要设置一个新的相机位置，合成新视图，并且需要准确地恢复原始视图的场景几何结构。
其次，根据预测的场景几何结构，要将新视图在连续的时间线上合成，这就涉及到去遮挡这样的图像修复手段。
用以训练的数据集是用计算机生成的。研究人员从UE4 Marketplace2收集了32种虚拟环境，用虚拟摄像机在32个环境中捕获了134041个场景（约13万），包括室内场景，城市场景，乡村场景和自然场景。
指定一张高分辨率图像，首先根据其低分辨率版本估计粗糙深度。这一步由VGG-19来实现，根据VGG-19提取的语义信息指导深度估计网络的训练，并用具有ground truth的计算机合成数据集进行监督。
第二个网络，是Mask R-CNN。
用Mask R-CNN对输入的高分辨率图像进行分割，而后用分割的结果来对深度图进行调整，以确保图中的每个对象都映射到一个相干平面上。
最后，利用深度细化网络，参考输入的高分
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
