这是一款能够将平面图片渲染出动态 3D 景深效果的开源 AI 工具。效果示例如下:
作者提出了一种将单个 RGB-D 输入图像转换为 3D 照片的方法,即一种新的视图合成的多层表示方法,该方法包含在原始视图中被遮挡区域的幻觉颜色和深度结构。作者使用具有明确像素连接性的分层深度图像作为底层表示,并提出一个基于学习的修复模型,该模型以空间上下文感知的方式将新的局部颜色和深度内容迭代合成到遮挡区域。使用标准图形引擎,可以使用运动视差有效地渲染生成的 3D 照片。作者在一系列具有挑战性的日常场景中验证了该方法的有效性。
测试环境
Linux ( Ubuntu 18.04.4 LTS)
Anaconda
Python 3.7 (3.7.4)
PyTorch 1.4.0
其他的 Python 依赖项:
opencv-python==4.2.0.32
vispy==0.6.4
moviepy==1.0.2
transforms3d==0.3.1
networkx==2.3
cynetworkx
scikit-image
运行以下指令开始安装:
conda create -n 3DP python=3.7 anaconda
conda activate 3DP
pip install -r requirements.txt
conda install pytorch==1.4.0 torchvision==0.5.0 cudatoolkit==10.1.243 -c pytorch
下载模型权值:
chmod +x download.sh
./download.sh
更多详情请查看软件主页