PU-GAN a Point Cloud Upsampling Adversarial Network

这篇是ICCV2019的一篇上采样论文。

Ps：学习论文时，我只备注重要的知识点。

一、Abstract

1、概括

存在问题	点云是稀疏、有噪音（outlier points）、不均匀的
作者目的	学习已有点的特征， 从而增加点， 并且使点的分布要均匀
采取方法	generative adversarial network (GAN)、Patch-based Upsampling
理由	GAN能够探索潜在空间中的各种点分布，能够更好的生成否合特征的点

2、文章的创新点

• Up-down-up expansion unit -------主要用上采样之后的结果和最初数据进行比较，得出误差
• Self-attention unit---------------------使点的特征靠的更近，提取到更多的特征
• Compound loss-----------------------处理点和点之间的距离，使得更加均匀

3、Question：GAN为何能够充分探索点的分布空间？它有什么特质？

二、Introduction

1、一些碎碎念的知识点（可忽略）

~fill small holes and gaps使点分布均匀来填补孔洞和缝隙

2、对以前的论文，作者认为它们网络的效果并不好，并不能从低质量的点云中生成完整、密集、分布均匀的点云。

• PU-Net生成的点太相似，即靠的太近，并且多次重复卷积造成特征冗余。
• MPU训练步骤太复杂，并且当上采样率更高时，需要划分更多的子集。

3、GAN网络的generator充分探索点的分布，discriminator评估生成的点分布，双方达到一种制衡的目的。但是GAN网络很难收敛，所以Generator必须采集到更多有效的特征。
所以作者采用以上三点创新点。

三、Method

1、Q should describe the same underlying geometry of a latent target object as P, so points in Q should
lie on and cover the target object surface 生成的点云Q应该和初始点云P的几何结构一样，所以Q应该位于并且覆盖点云P的表面。PU-Net和MPU都没有提出这个要求，它们下意识利用了loss体现了这个思路，但是在网络架构中没有采取方法。
Tips：能不能采用一些Shape Analysis的方式，解决这个问题。

**Generator

1、Network Architecture

1. The feature extraction component
特征提取单元使用了MPU的方法，简单概括：假设点云有N个点，使用KNN为每个点采集特征，然后和上一步特征结合后，继续采用此方法循环几次，最后给每点加上grid value。每一层和每一层之间使用skip connection来传递信息。

2. The feature expansion component

增加这一步的目的：是为了增加不同的特征，使得点分布更加多样化。
~ 主要步骤：we compute the difference (denoted as ∆) between the features before the upsampling and after the downsampling. By also upsampling ∆ to ∆up, we add ∆up to Fup to self-correct the expanded features。
~好处：这样做不仅避免了繁琐的多步卷积，并且促进了细粒度特征的产生。

2.1 Up-feature operator
~为了上采样r次，我们要为重复学习的特征增加差异，这相当于使生成的点远离原来的点。所以我们将特征复制 r 份 (rNC), 然后使用FoldingNet中的2D Grid mechanism，使得 r 份特征变得不一样，接着使用 self-attention 使特征紧密联系，最后使用一系列的MLPs继续对特征进行学习，得到我们想要的结果。

2.1.1 Self attention
为了引入长距离依赖 ，取集结连接之后的特征，引入了注意力机制。
~将从已有点中学习出的weight再次应用到这些点中。

四、Training Process

1、它找了200个Patch，每个Patch中有5%点， 使用Poisson disk sampling 找target points
2、采用的loss函数

• Adversarial loss： 采用的是最小二乘法

• Uniform loss + replusion loss
  PU-Net的NUC 度量并不能区分不同分布下点的均匀性。所以它加入一个分布的比例，这个比例是按照平均分布计算出来的。