【点云系列】Multi-view Neural Human Rendering （NHR）

1. 概要

虞晶怡团队作品，CVPR2020，神经渲染系列
论文地址：https://openaccess.thecvf.com/content_CVPR_2020/papers/Wu_Multi-View_Neural_Human_Rendering_CVPR_2020_paper.pdf
项目地址：https://wuminye.github.io/NHR/
数据集：https://wuminye.github.io/NHR/datasets.html

2. 动机

专门针对人体渲染端到端框架（NHR）：用点云中PointNet++来提取3D特征 +投射到2D的平滑的CNN来处理噪声和残缺。本质上还是引入了点云来指导渲染的方法。

3. 方法

流程图

整体框架

包括三个模块：

1. 特征提取（FE）
2. 投影与光栅化（PR）
3. 渲染（RE）
   

模块1：特征提取（FE）

${\Psi }_{fe}$: PointNet++特征提取操作，去除分类分支，仅保留分割分支作为FE的分支。
$D_t$：点云的特征描述子
$V=v_i$:归一化的视角方向， $v^i={\frac{p_t^i-o}{||p_t^i-o||}}_2$， 其中$o$是目标视角相机的投射中心。