记录：PVRNet: Point-View Relation Neural Network for 3D Shape Recognition

本文融合点云和视图数据，来进行3D的形状识别。
总体示意图：

1.主要贡献为两个方面：
（1）利用点云和每个单一视图之间的相关性（相关指数，或者说相关性评分）来指导来自点云的特征和来自视图的特征的融合；
（2）提出两种联系方式来融合二者：分别是point-single-view和point-multi-view.
详细流程如下：

2.关注于相关性评分模块，将点云特征和每一个视图特征投入到一个多层感知机，然后得到评分，这个评分有两个作用：
（1）后续的数据增强：

通过着这种方式，进行一个加权过程，即：相关性越大的，数值被放大，越有影响力；
（2）在point-multi-view方式的分组：得分接近的在同一个组。

3.两种联合方式：

第一种在数据增强之后，是经过maxpooling的，第二种是通过分组，分别算得结果，然后取平均。

4.实验结果：
1）识别准确度和检索mAP：

2）精确率-召回率曲线

3）Ablation experiments

其中，Late-Fusion表示直接将点云的全局特征与多试图的全局特征结合（本问题中，early-fusion无法实现，因为两种数据有着不同的维度而且点云数据有无序性），SFusion表示将point-single-view和multi-single-view联系起来，后面1+2+3+4表示分组，按照得分高低，将视图分为四组，分别有1，2，3，4个视图信息（图中表示有重叠）此实验结果说明：single方式可以提高准确率，而且随着视图的增加，准确率会提升。
4）相关性评分可视化

5）信息缺失影响（1）

假设点云信息不变，训练的时候都是用12张视图来训练的，在测试时改变视图的个数，从下往上看这个表，可以看作是一个信息逐步丢失的过程，上表说明试图丢失时，对PVRNet影响最小。

6）信息缺失影响（2）

点云中点的个数缺失影响程度如上图。
按照文章的解释，因为有视图和点云的信息相互支撑，所以对信息缺失的抗性比较高。