【点云系列】Neural Opacity Point Cloud（NOPC）

1. 概要

2020 PAMI期刊内容
项目地址：https://wuminye.github.io/NOPC/

涉及相关内容：基于图像的渲染（IBR）、神经渲染、抠图
特点：结合了点云来增强渲染效果
虞晶怡团队作品

2. 动机

传统的基于图像的不透明外壳（Image-Based Opacity Hull, IBOH）技术会因采样不足而导致伪影和叠影。通过使用高质量的几何可以缓解该问题，但是对于毛绒物体来说，获取真实准确的几何外观仍是一项巨大挑战。这类物体包含成千上万根毛发纤维，由于纤维极细且无规律地相互遮挡，它们表现出很强的与视角相关的不透明度，这种不透明度信息很难在几何形状和外观上进行建模，哪怕使用最新的3D扫描仪，而无法完全获得。

研究人员提出的渲染方法能够将基于图像的渲染（IBR）与神经网络渲染（Neural Rendering）结合，以渲染对象的粗糙点云作为输入，使用相对稀疏视点下拍摄的图像数据，渲染出毛绒物体在自由视角下逼真的外观和准确的不透明度。该研究同时提出了一种用于拍摄采集真实毛绒物体数据的拍摄系统。 实现了自由视角下毛绒物体的高质量渲染。即使使用低质量不完整的三维点云，也可以生成逼真的渲染。

3. 方法

算法流程示意图：

如下图。从点云$P$当中，学习到其对应的特征$F$。为了适配到新的视角$V$，我们将$P$和$F$投射到$V$上来构建视角独立的特征图$M$。所提出的多分支框架将$M$映射到$V$的RGB图像和一个alpha通道上。网络可以通过使用GT RGB图和alpha通道来实现端到端的训练。
公式描述如下：

点云表示： P = { p i ∈ R 3 } i = 1 n p P=\{\mathbf{p}_i \in \mathbb{R}^3\}^{np}_{i=1} P={ pi​∈R3}i=1np​
特征表示： F = { f ∈ R m } i = 1 n p F =\{\mathbf{f}\in \mathbb{R}^m\}^{np}_{i=1} F={ f∈Rm