Deep3D: Fully Automatic 2D-to-3D Video Conversion with Deep Convolutional Neural Networks
目前制作 3D 电影主要有两种方法,并且这两种方法在实际制作中的应用程度基本相同:
其一是用特殊的 3D 立体摄像机直接拍摄成 3D 电影
其二是先拍摄成 2D 电影,然后人工转制 3D
但是这两种方法都不完美,对于第一种方法来说,3D 摄像机昂贵而不方便。而第二种人工转制则需要画家为每一帧画面绘制深度图。
要把一张 2D 图像转换成 3D 立体图,首先需要估测每个像素点相对于相机的距离(即深度图),然后基于深度图来创建两个视角。
该算法中最困难的步骤是估测深度图。需要用图像和深度图数据对来进行训练。由于这种数据对收集起来很困难,所以使用的数据库都比较小,比如 NYU 深度数据库和 KITTI,这类数据库中只包含几百张样例。此外,这些数据集只有静态场景,很难想像如何将这项技术应用到人物照片里。
Deep3D 可以直接在具有数千万帧的 3D 电影的基础上进行训练。我们在进行训练时,把深度图作为一个网络内部的表示,而不是作为末端的预测输出。
把pretrain的model删掉了,初始数据集也没有公布,issue里一堆说这个文章效果不好的
https://zhuanlan.zhihu.com/p/28350142