1. 概要
2020 PAMI期刊内容
项目地址:https://wuminye.github.io/NOPC/
涉及相关内容:基于图像的渲染(IBR)、神经渲染、抠图
特点:结合了点云来增强渲染效果
虞晶怡团队作品
2. 动机
传统的基于图像的不透明外壳(Image-Based Opacity Hull, IBOH)技术会因采样不足而导致伪影和叠影。通过使用高质量的几何可以缓解该问题,但是对于毛绒物体来说,获取真实准确的几何外观仍是一项巨大挑战。这类物体包含成千上万根毛发纤维,由于纤维极细且无规律地相互遮挡,它们表现出很强的与视角相关的不透明度,这种不透明度信息很难在几何形状和外观上进行建模,哪怕使用最新的3D扫描仪,而无法完全获得。
研究人员提出的渲染方法能够将基于图像的渲染(IBR)与神经网络渲染(Neural Rendering)结合,以渲染对象的粗糙点云作为输入,使用相对稀疏视点下拍摄的图像数据,渲染出毛绒物体在自由视角下逼真的外观和准确的不透明度。该研究同时提出了一种用于拍摄采集真实毛绒物体数据的拍摄系统。 实现了自由视角下毛绒物体的高质量渲染。即使使用低质量不完整的三维点云,也可以生成逼真的渲染。
3. 方法
算法流程示意图:
如下图。从点云 P P P当中,学习到其对应的特征 F F F。为了适配到新的视角 V V V,我们将 P P P和 F F F投射到 V V V上来构建视角独立的特征图 M M M。所提出的多分支框架将 M M M映射到 V V V的RGB图像和一个alpha通道上。网络可以通过使用GT RGB图和alpha通道来实现端到端的训练。
公式描述如下:
点云表示: P = { p i ∈ R 3 } i = 1 n p P=\{\mathbf{p}_i \in \mathbb{R}^3\}^{np}_{i=1} P={
pi∈R3}i=1np
特征表示: F = { f ∈ R m } i = 1 n p F =\{\mathbf{f}\in \mathbb{R}^m\}^{np}_{i=1} F={
f∈Rm