【论文阅读】Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud

最近在看3d目标检测的文章，感觉看完东西还是要记一下自己的想法，尤其是有思考的文章。
论文题目：Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud （CVPR2020）

全文做的工作的主要创新点在于用图的方法做目标检测

首先是从原始点云建图
首先利用voxel方法进行下采样，随后对于下采样的点云进行聚类，最后MLP及max操作生成顶点。实际上类似于pointnet++的SA层，只不过作者结果那么做实在是太费时间了。

随后便是文章的GNN网络。
首先通过顶点的feature通过mlp层生成位置偏移δx，这个操作叫做auto-registration。主要是作者认为顶点的三维坐标如果有波动那么其他点的相对位置也要跟着发生变化。这个会影响网络的平移不变性，而经过几轮GNN的迭代作者发现顶点的feature已经具备了来自周边点的位置特征。
随后计算每个周边点的相对位置，与他们的特征一起送进mlp，最后一个aggregate操作整合一下所有的feature。
经过几次的迭代随后输入后面的prediction模块

作者还对于nms进行了重新设计，实际上是考虑了重叠的bbox们的score，引入了重叠率这个概念。然而实际上我们可以看到这个操作好像对于ap的提升不大，而且与前面的auto-registration操作似乎不太搭配。后面我的思考里可以分析一下原因。

思考
已上就是网络的所有架构。在我看来本文比较新颖的地方是利用了一个新的模块代替原来的SA层，减少了Pointnet++中的主要计算量。同时利用图的方法来进行local feature的聚合。这是不同于以往的3d目标检测文章的。

那么为什么auto-reg和新nms不太匹配呢，
我们从后面的实验可以看出来autoreg实际上是将目标框内的点往中心拉，而新nms的操作是不管你靠不靠近中心点的顶点生成的bbox我都综合考虑他们生成最终的目标框，实际上两者是有些许矛盾的，从ablation实验我们也可以看出来一些端倪。disable掉auto reg. 抑制点往中心的拉近似乎和新nms能达到更好的ap。