回想一下你曾经玩过的 3D 游戏:游戏场景可随鼠标前后左右任意角度移动,玩家也可获得完全沉浸式的体验感受。
与此相同,假如未来 3D 观球方式普及,你也可以用手指移动任意角度,清楚地观看球赛中的扣篮和进球。
图 | 用 4 个 RGB 相机实现自由视点(来源:受访者)
近日,浙江大学计算机辅助设计与图形学国家重点实验室的 “百人计划” 研究员、博士生导师周晓巍团队的论文,发表在计算机视觉顶会 CVPR 2021 上(IEEE Conference on Computer Vision and Pattern Recognition)。其中,周晓巍担任通讯作者,其学生彭思达为第一作者。
图 | 相关论文(来源:受访者)
研究主要成果是一款名为 Neural Body 的新型视图合成技术的实现与发展。综合来看,Neural Body 在使用时,其选取的输入视点较少,还能更好地捕捉人物的动作,高效完成 3D 立体成像。
这也意味着,将来的某一天,使用更少的摄影机,就可为全球各地观众带来一场亲临现场般的沉浸式观球体验。
图 | 从单个视频实现人体重建与视图合成(来源:受访者)
少量角度拍摄,合成 360° 人体 3D 视图
传统的 3D 视图合成技术一般比较依赖于 3D 重建,这种技术主要有两大限制 :一个是重建质量有限,导致视觉真实感较差;另一个是没办法处理一些反光表面或者透明区域。
随着技术的推进,近年来基于神经网络实现三维场景表示与渲染的技术逐步发展,以谷歌的 2D 图像转 3D 模型 NeRF 为代表,它