2D变3D，视角随意换，神还原高清立体感，还是不用3D建模的那种 | 代码数据开源...

十三 鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI

看到这张恐龙化石的动态图片，你肯定会认为是用视频截出来的吧？

然而真相却是——完全由静态图片生成！

没错，而且还是不用3D建模的那种。

这就是来自伯克利大学和谷歌的最新研究：NeRF，只需要输入少量静态图片，就能做到多视角的逼真3D效果。

还需要专门说明的是，这项研究的代码和数据，也都已经开源。

你有想法，尽情一试~

静态图片，合成逼真3D效果

我们先来看下NeRF，在合成数据集(synthetic dataset)上的效果。

可以看到，这些生成的对象，无论旋转到哪个角度，光照、阴影甚至物体表面上的细节，都十分逼真。

就仿佛是拿了一台录影设备，绕着物体一周录了视频一样。

正所谓没有对比就没有伤害，下面便是NeRF分别与SRN、LLFF和Neural Volumes三个方法的效果比较。

不难看出，作为对比的三种方法，或多或少的在不同角度出现了模糊的情况。

而NeRF可谓是做到了360度无死角高清效果。

接下来是NeRF的视点相关 (View-Dependent)结果。

通过固定摄像机的视点，改变被查询的观看方向，将视点相关的外观编码在NeRF表示中可视化。

NeRF还能够在复杂的遮挡下，展现场景中详细的几何体。