论文笔记：Exploring Object Relation in Mean Teacher for Cross-Domain Detection

 

论文地址：https://arxiv.org/abs/1904.11245

源码地址：https://github.com/caiqi/mean-teacher-cross-domain-detection

---

1 Mean Teacher

       用半监督学习的方法模仿无监督DA。且domain gap可以很自然地通过teacher-student的一致性正则化来跨过去。提出带Object Relation的Mean Teacher，将其与teacher和student模型的一致性损失相结合，首先学习捕捉teacher和student间成对区域的相似性的relation graphs，然后由三个一致性正则项来优化整体结构1）region-level；2）inter-graph；3）intra-graph。目标是追求两个模型的预测在一定干扰下仍具有一致性，即图2(c)。

Mean Teacher想要学一个无正则化的更加平滑的domain-invariant fcn，即图2(a)或者只有源数据增强情况下的更加平滑的domain-invariant fcn，即图2(b)。

       在这里，考虑Mean Teacher在跨域检测中使用，考虑到两个层次：region-level和graph-structured consistencies。前者的目标是对于Teacher model提出的proposals，对齐两个模型region-level的分类结果，也即目标定位的对齐；后者的启发来源于一张图像中不同目标的潜在关系应该在不同数据增强时具有不变性，即inter-graph consistency，相当于匹配teacher和student模型的图谱结构，另外一种是intra-graph consistency，使得student model的图谱中相同类别的regions具有相似性。

       每一张带标签的图像只能经过student model来实现目标检测的监督学习，而不带标签的图像经过两次不同数据增强后分别通过teacher和student model，实现强制噪声下一致性的measure。在训练过程中，teacher生成的相同region proposals，会通过计算teacher和student的每一对regions的相似度来生成两个相似性图谱。整体的MTOR是原本的loss fcn加上三个一致性正则项损失。

2 Mean Teacher in Semi-Supervised Learning

       Mean Teacher的中心思想：鼓励teacher和student的预测在输入扰动或网络参数下保持一致性。对于所提出的网络，对于两种不同的数据增强方式，两个模型输出的概率应该差不多。因此，用一致性损失去惩罚两个模型输出的差异，这里采用了均方损失（Mean Squared Error）：

Teacher model在第t代的权重，其中α是一个平滑滤波（smoothing）参数，因此Mean Teacher的总训练loss是：

3 Mean Teacher in Cross-Domain Detection

      本文做法：将Mean Teacher 改造在Faster RCNN的backbone中，通过将object relation放到teacher和student一致性正则化的measure中。根据上面的说法，先将带标签的数据通过student model，实现监督学习，然后同时将每一张不带标签的数据，以不同的数据增强方式，转换成两个“带扰动”的图像，同时分别送进teacher和student model，使得可以衡量两者的一致性。对于teacher model生成的region proposals，构建两种relation graph，学习两个模型中任意一对region的关联矩阵。对于每个relation graph，，其中是对称的无向加权graph。

3.1 Region-Level Consistency

      目的：减少实例局部的variance，例如尺度、颜色、随机噪声这些，转而强制目标定位的一致性(?)。

       对于teacher model，是一个完整的two-stage model，假设输入为，teacher model的Base CNN输出一个feature map，然后依赖这个输出feat map，通过RPN生成一set的region proposals，并且首先采用confidence阈值来过滤掉背景和带噪声的低confidence目标，如果q_r低于阈值，把R_xt的region proposals都消除掉，得到校正后的：

       对于每个region proposal，一个ROI pooling层用来从feat map提取固定长度的向量，然后根据这个向量（region feat），预测一个概率分布（背景+前景类别），然后得到teacher model的完整输出。Student model的做法类似，但不同之处在于直接使用了teacher model的RPN出来的region proposals，进而得到完整的输出。然后用这些输出构建graph，度量teacher和student model的region-level一致性。采用均方差平均值作为Region-level Consistency Loss（RCL）：

3.2 Inter-Graph Consistency

      Region-level一致性只对齐了teacher和student每一个region proposal的预测，但regions之间的关系还没得到探究。

      原理：对于每张图像所有目标之间的潜在关系，在经过两次数据增强后应该具有不变性，对于teacher model的graph ，用的余弦相似性计算而得：

      再用均方差的平均值作为IntEr-Graph Consistency Loss（EGL）：

3.3 Intra-Graph Consistency in Student

      原意：受self-labeling的启发，inter-graph consistency用来进一步强制student同类区域的相似性，由于target samples没有label，所以直接采用teacher model来给每一个region proposal分配一个“伪”标签，然后得到一个监督矩阵，这个矩阵表明了两个region是否同属于相同的类别：

      因此，已知student的affinity matrix以及，就可以定义出intrA-Graph consistency Loss（AGL）：

      通过最小化AGL，带有相同“伪”标签的两个区域的相似性提高了，从而使得student graph的类内变化减少。