MLCVNet: Multi-Level Context VoteNet for 3D Object Detection

对于输入的3D点云，像2D一样使用一个bounding box去将相应的物体包围起来，不过这里使用的bounding box也同样变成了3维的。

研究了什么

        是对三维目标的检测，准确来说，是加入了对上下文环境后对三维目标的检测。这样提高了检测的准确性。

研究方法是什么

        应该是VoteNet的改进。以VoteNet为基本方法，加入了三个子模块，分别为PPC,OOC,GSC模块。

 过程是什么

 整体结构分为了：特征提取模块、上下文模块、抑制模块（和输出模块嘛？）。作者简单介绍了一下特征提取，主要介绍的是上下文模块。

backbone部分，特征提取作者采用的是pointnet++，输入是N个点3个特征的点云，输出是N个点1024个特征的feature。

 上下文模块，即是前面介绍的PPC,OOC,GSC三个子模块组成的。

PPC模块---点补丁（point patch）之间的关系

这个点补丁之间的上下文信息一方面可以通过从类似补丁中收集补充信息来缓解数据丢失问题，另一方面，可以通过聚合当前点补丁和所有其他补丁的投票信息思考它们之间的关系。

在vote之前先用周围的patch对当前patch的attention进行聚合改变。

其中，θ(·), φ(·), g(·) 是三个不同的转换函数，这里的A是上面N×1024的feature map。f(·)是相似度计算。

这里的self-attention模块是利用CGNL实现，目的是得到特征空间中任意一对点补丁和任意通道之间的相关性。

下面是CGNL的大致样子。

 OOC模块--对象之间的关系（对象候选者）

Votenet是将点云集群独立的输入到MLP层中得到对象类和边界框，作者在这里增加了一个上下文对象，对象可以从那些高度相关的对象中获得加权信息，最终分类对象不光受自己特征向量，还受和其他对象之间的关系影响。送入MLP后再最大池化（max pooling）形成表示集群的单个向量。再就是self-attention模块，和前面一样也是CGNL，目的是生成一个新的特征图记录所有集群的亲和力。

编码概括如下：

GSC模块--全局场景

作者举的一个例子：当整个场景是餐厅而不是浴室时，很有可能识别出椅子而不是厕所。

具体来说，是在PPC和OOC应用self-attention之前将层上的特征连接起来，即结合所有来自点补丁和对象候选者的信息，遵循多尺度特征融合的思想来连接。

即结合前面两个部分

 P是Point patch也就是PPC结果，C是object也就是OOC的结果。

结论是什么

MLCVNet-使用上下文信息有助于检测具有缺失部分的被遮挡对象，可以认为这是提高检测精度的一个原因。

多数进行3D物体检测都是单独进行的，联系上下文环境的话，提高了检测的准确性（作者是与VoteNet进行了比较，VoteNet是2019提出来的）