Semi-supervised 3D Object Detection with Proficient Teachers论文阅读

Semi-supervised 3D Object Detection with Proficient Teachers
Yin, Junbo, Jin Fang, Dingfu Zhou, Liangjun Zhang, Cheng

Motivation and Contribution

利用伪标签的方式来做半监督学习，其中来自老师网络的伪标签是低质量的,于是提出要增强老师网络。
1. 首先要提高伪标签的召回率，设计了一个时空相似模块（STE）来产生足够多的种子box
2. 提高这些被召回的box的精度：提出一个基于聚类的box投票模块（CBV），这一操作同时也避免了复杂的thresholds来挑选box
3. 另外，为了减少负样本带来的影响，提出用软监督：box-wise contrastive learning（BCL）

Implementation

老师网路产生伪标签给学生网络

1. 在多个视角下利用STE模块产生大量的box seed来提高边框的召回率
   STE：用多个weak augmentation产生多个角度的数据，并且提出用多个历史模型来产生对应时间的边框，产生多个seed boxes
2. 之后利用cluster-based box voting消除FP，提高准确率
   CBV：首先用knn算法计算IoU来聚类seed boxes，然后利用ROI来提取每个边框的特征，然后对于一个类中的边框用两层MLP来计算vote（训练的时候是到GT边框的offset作为真值的），同时也用另外两层MLP来预测边框的质量（前景、背景）。 所有的vote加起来作为一个refine的边框代表这个聚类边框。
3. 老师的伪标签和学生的预测进行detectionloss监督，并且提出一个box-level contrastive loss

What’s More

vote这一步确实显著的提高了边框的准确率！