论文地址：SCL

论文地址：https://arxiv.org/abs/1911.02559

源码地址：https://github.com/harsh-99/SCL

---

1 Mean Idea

提出一种基于堆叠互补损失（SCL）的梯度分离方法，以目标检测为主要任务（CE和smooth l1 regression），在网络的不同阶段剪成多个辅助损失，以使用互补信息（目标域图像），使得模型参数能更高效地适应源域和目标域。梯度分离应用在检测网络和不同objective的上下文子网络之间，来强制网络学习更有判别力的信息。以前的方法：对于主要任务的传统训练方法主要采用源域的信息来最大化likehood，但是忽略了网络浅层的信息，导致不同域间的一种不充分的整合（?）。只专注与局部区域，会导致缺失了context的重要信息。受multi-feature/strong-weak alignment启发，在浅层小感受野对齐局部区域，在深层大感受野对齐图像级特征，作者拓展了这个理念：研究多样的互补目标以及他们在DA的潜在组合。

《Complement objective training》和《Deeply-supervised nets》。前者认为加上额外的损失函数，与主要的目标函数complement，和本文的观点差不多，cross entropy为主要目标函数

COT中定义的complement熵Hc是一个mini-batch中complement类的sample-wise熵：

训练过程：1）首先用Hp更新参数；2）然后用Hc更新参数。与之相反，作者前述的交替参数更新策略，而是通过梯度分离同时地更新参数，因为作者想要让网络能够同时适应源域和目标域，同时辨别出目标对象。

上述方法更像是《Deeply-supervised nets》，error的后向传播不仅仅是来自最后一层的，还来自中间层的互补输出。它的提出可以缓解梯度消失问题，而在本文作者专注于如何使用这些辅助的损失来促进两个不同的域通过域分类器进行混合。作者观察到多重目标函数可以使自适应的网络有更好的生成性。基于此，作者提出了Stacked Complementary Losses。

2 Methodology

2.1 Multi Complement Objective Learning

以递归函数形式定义第k层：，是第k层生成的feat map，因此域分类器k的补充损失为：

Dk是第k个域分类器或辨别器。同样地也采用GRL来实现对抗式训练，且GRL层放在域分类器和检测主干网络中间。对于instance-context对齐损失，输入为instance-level表征以及context向量。其中，RoI层得到的instance-level向量只有局部目标信息，而context向量是从作者提出的子网络中得出来的，混合着分层的全局特征。然后concatenate两者（“same context vector”），而且要一一对应，因为每个目标的上下文信息都各不相同。Instance-context可以混合使用到每部分的重要信息，作者还提出了采用一个更好的解决方法，也就是detach（分离）来更新梯度。对齐两者信息，可以缓解目标外观的变化，如部分畸变、目标尺寸等。域标签d=1即源域，反之即目标域，因此instance-context对齐损失为：

是instance-context域分类器在第i张图像第j个proposal region的输出概率，因此总的SCL目标函数为：

2.2 Gradients Detach Updating

分离策略阻止context子网络的梯度流通过检测主干网络，该方法可以获得更有判别力的context信息，而且携带多种多样的信息。Instance和context所关注的重点不一样，因此它们的表征都有一定差异，如果按照传统方法联合训练的话，这两种信息就会搅合在一起，分不清楚谁是谁。因此作者提出梯度分离的想法，强制让context子网络的表征和检测网络的不相似，如算法1所示，这是第一篇把梯度分离用于DA中，以获得更好的context信息。

2.3 Framework Overall

总目标函数：

每个mini-batch包含一张source img和一张target image。