SESS: Self-Ensembling Semi-Supervised 3D Object Detection

SESS: Self-Ensembling Semi-Supervised 3D Object Detection

• 作者：Na Zhao Tat-Seng Chua Gim Hee Lee
• 机构：Deaprtment of Computer Science, National University of Singapore
• 出处：CVPR 2020 Oral
• 代码：https://github.com/Na-Z/sess

写作笔记

alternative：选择
robotics communities：机器人领域
domestic robotics：家用机器人
promising：有前途的
where points are sparsely distributed, and/or the scene is partially visible and incomplete due to occlusions and 3D amodal perception.
cross-category semi-supervision
in-category semi-supervision
random perturbations：随机扰动
circumvent：避开
leverage：利用
by virtue of：凭借
review：回顾、介绍
upright-axis：垂直轴
bijective：双射的
In similar vein：相似的方式

主要贡献

• 研究了以点云为输入的半监督3D检测算法，据论文中所说，是第一个提出以只以点云作为输入的3D目标检测半监督算法，具有开创性的意义
• 将随机扰动泛化到点云数据，并根据点云的特性设置3个一致性损失
• 实验结果比较优秀，证明了该方法的有效性

网络结构

网络结构为典型自监督网络Mean Teacher paradigm，包含学生网络和老师网络，其中学生网络接收随机的转换，而老师网络不接收随机转换，两个网络的输出结果需要保持一定的一致性，以达到提出关键信息的目的，有效规避噪音的影响。为了提取到关键的信息，文中设置了三个一致性损失：center-aware、class-aware和size-aware。这三种损失在3D目标检测中作为辅助损失用得比较多，也最能体现3D目标框的特征。一致性损失是自监督损失，可以不需要样本标签，而对于有标签的样本进行监督进行监督学习的损失。

随机扰动

Mean Teacher paradigm网络结构的随机扰动都是基于图像的，而基于点云的没有具体的设定。文中对点云的一系列转化进行了定义，将该机制往点云输入进行泛化。

• 随机子采样
• 随机转换。包含随机x轴翻转、随机y轴翻转、随机旋转（矩阵乘一个旋转矩阵）和随机上下采样（scale）

一致性损失设计

• center-aware consistency loss:
  
  
  首先学生网络和老师网络输出的推荐框的中心点是两个集合，需要一一对应，但是又因为两个集合的数量不一定是一样的，所以这种映射并不是双射，这个损失的计算分为两步，第一步对齐中心点，第二步双向映射。这样设计规避了推荐框不能直接计算的问题。（这个地方可能还能使用匈牙利算法，二分图匹配来匹配点集）

• class-aware consistency loss
  
  对齐之后，使用KL散度损失。这个地方是单向的，老师网络产生的结果监督学生网络的输出。

• size-aware consistency loss
  
  和class-aware损失一致，同样的对齐之后，采用MSE损失计算。

结果分析

实验结果有明显涨点，消融实验也很充分，有比较大的创新性，可对该方向进行深入探究。