VR中的光场渲染

原文： Work in progress – Light field rendering in VR
作者： Joan Charmant，现任OTOY软件工程师
译者： 孙薇
审校： 唐小引（@唐门教主），欢迎技术投稿、约稿，给文章纠错，请发送邮件tangxy@csdn.net

本文讲述了我的第二个光场渲染引擎的相关进展情况，前一个光场渲染引擎在去年10月时就在视频“光场渲染器的实现”中有所描述，其原理部分基于 Aaron Isaksen 的论文《动态光场再参量化》（Dynamically Reparameterized Light Fields）：从源图片中甄选出目标图片，再经过投影变换在 CPU 中合成视图，之后通过桌面窗口来展示结果，详情可参见视频。

范围

对第二个引擎来说，项目范围如下：

1. 在 GPU 中合成视图，并通过 VR 技术来呈现：
   具体是在 CUDA（Compute Unified Device Architecture，统一计算设备架构）中实现，并输出到 Oculus Rift（DK2，安装 Oculus Runtime 0.8）。尽管在前一个项目中，我侥幸用了30到50毫秒来渲染 sub-HD 图片，不过 VR 需求的分辨率更高，且要求渲染时间（双眼）不能超过10毫秒。

2. 成像质量与计划使用光束的最佳配比：
   我尝试通过计划范围内的光束群来获得最佳的成像质量，根据设定：在实验阶段的光束数量计划为 1亿道（100 Megarays）。这个数量的光束群算是中等规模的：Lytro Illum 物理光场相机使用了 4000 万道光束（40 Megarays），而我之前的另一个项目使用的某个样本是 9亿道光束（900 Megarays）。对于全方位应用来说，经常会遇到数十亿束光线所组成的光场。需要注意的是：在视频的样例中，光束数量不足3亿；目前我尚未找到1亿光线所能达成的满意视图质量。

3. 限定景深范围内的特写镜头：
   我一直在关注浅景深特写的问题。

Demo 请点击这里查看（需科学上网）。

在视频中有一些重要的东西没能体现出来，有些好有些不好。

• 分辨率： 视频所展示的应用镜像窗口比在 VR 中实际投射的视图分辨率要低得多（参见下面的性能描述）。

• 尺寸与深度： 在视频中完全没能展示出来，但在实际 VR 展示中，对象的尺寸与物质性都很不错。在 VR 中，对人体头部的渲染结果正如真人的头部大小。

• 恐怖谷理论(注1)： 质量已经很接近了，但事实上还是达不到。因此整个效果看起来还是更像有景深的照片而不是真人。无论急促的呼吸，还是水晶闪烁的动态循环画面都还有很大的改善空间。

• 视觉调整失败： 在 VR 世界中，由于位置追踪的存在，视线对人像头部有很好地锁定，因此质量是有可信度的。当人脸逐渐接近镜头时，大脑会对图像有一个预期的增加度。本来在逐渐接近时，双眼会尝试重新逐步调整焦点，但由于分辨率是由源数据集决定的，这会让人有奇怪的感觉，似乎视觉调整失效了。之前我没有体验过这种感觉。

数据集细节

• 女性头部

  • 3亿道光束
  • 原始模型是768K 的多边形，8K 材质。
  • 捕获：1000 个样本/像素的路径跟踪。

• 水晶

  • 3亿道光束
  • 捕获：4000 个样本/像素的路径跟踪。由于水晶内层有很多折射面反射/折射光线，高光深度为48。

两个光场都是由Octane 3.0 渲染器的 alpha 测试版，通过定制 Lua 脚本捕获。

性能

渲染视图达到 2364×2927 的分辨率，这个数字达到我使用的 Oculus DK2 像素密度的2倍，然后图像会根据 DK2 1920×1080 分辨率的屏幕进行调整。可以很好地运行在 GTX 980Ti 显卡上。

此外这个视图还能插入并传输到低分辨率的镜像窗口，就在之前对 Oculus 的 compositor 发布渲染时曾执行过这个步骤。

显然关于渲染光场最有趣的部分是渲染时间独立于场景复杂性之外，这就是为什么我关注的案例都是很难或几乎不可能实时渲染的原因。女性脸庞是超过 750K 的多边形，使用复杂材料以及 8K 材质，而水晶则对光线路径及焦散线特别提出了挑战（很不幸在我使用的设置中，这些并非真正不可见的），只能使用光线路径来渲染。

应用

在视频中的应用名叫 Hypercapsule，名称的后半部分是因为它吸收了 Capsule 的部分理念（在这篇文章中有所描述），能在 Oculus DK2 中渲染全方位立体视觉图像。而名称的前半部分 “Hyper” 则是由于在实现的核心部分使用了 4D 意识。

目前我还不打算发布这个应用，之后它会发展成为更大型的应用。

---

注1 恐怖谷理论：是关于人类对机器人和非人类物体的感觉的假设：由于机器人与人类在外表、动作上相似，所以人类亦会对机器人产生正面的情感；直到一个特定程度，他们的反应便会突然变得极为负面。哪怕机器人与人类只有一点点的差别，都会显得非常显眼刺目，让整个机器人显得非常僵硬恐怖，使人有面对行尸走肉的感觉。可是，当机器人的和人类的相似度继续上升，相当于普通人之间的相似度的时候，人类对他们的情感反应会再度回到正面，产生人类与人类之间的移情作用。

---

第一时间掌握最新移动开发相关信息和技术，请关注mobilehub公众微信号（ID: mobilehub)。

由CSDN重磅打造的2016中国云计算技术大会（CCTC 2016）将于5月13日-15日在北京举办，大会特设“中国Spark技术峰会”、“Container技术峰会”、“OpenStack技术峰会”、“大数据核心技术与应用实战峰会”等四大技术主题峰会，以及“云计算核心技术架构”、“云计算平台构建与实践”等专场技术论坛。80+位一线互联网公司的技术专家将到场分享他们在云计算、大数据领域的技术实践，目前大会剩票不多，欲购从速。详情请点击CCTC 2016大会官网。