【论文阅读】【三维目标检测】Student-Teacher Network在3D目标检测中的应用

2021年看到两篇用Teacher-Student Network在3D目标检测的文章，一篇是AAAI 2021 3DIoUMatch做半监督的，另一篇是CVPR 2021 SE-SSD，效果在KITTI上非常好。

我个人对teacher-student network只有一个粗浅的理解，teacher-student network常用在模型压缩（知识蒸馏）和半监督的任务中。

对于知识蒸馏，teacher模型是一个大模型，student是一个小模型，student去学习teacher的输出，尽量使得student的输出与teacher一样。直观的想法是，用一个小模型去学习一个大模型，固然可以做到模型压缩，但为什么不直接用label去学呢？解释为，数据集给出的label是one-hot的，信息熵小。而大模型给出的则是每个类别的概率分布，可以给出类别之间关联信息。例如一张图片，label就是马，而大模型给出的是0.9是马，0.09是驴，0.01是狗这样。这样，就希望小模型能够学到大模型中储存的数据的内在关联。

对于半监督学习任务，teacher模型做的弱数据增广，student模型做强数据增广，从而提升让teacher模型给出准确的label，student学到更多的泛化性能。具体可见这篇知乎：
https://zhuanlan.zhihu.com/p/99513085?from=groupmessage

无论是什么任务，都比较重要的一个问题是，teacher哪些的prediction的是可靠的，是可以让student网络来学。

3DIoUMatch: Leveraging IoU Prediction for Semi-Supervised 3D Object Detection

本文做半监督学习。

文中写出的contribution如下3条：

• 提出了一个新的半监督的3D目标检测方法
• 最先使用了3D IoU作为定位可信度来做伪label的filtering，并且提出了IoU-guided Lower-Half Suppression用来做重复数据删除
• 在室内室外数据集均取得了很好的效果

teacher和student网络用同样的网络，st