论文阅读：ECCV 2020 | Self-Challenging Improves Cross-Domain Generalization

---

论文地址：https://arxiv.org/pdf/2007.02454v1.pdf.
代码：https://github.com/DeLightCMU/RSC

前言

卷积神经网络（CNN）通过激活与标签相关的显性特征来进行图像分类。当训练和测试数据处于类似的分布时，它们的主导功能类似，导致不错的测试性能。尽管如此，在用不同的分布测试时，性能仍然是未满足的，导致跨域图像分类中的挑战。我们介绍了一个简单的培训启发式， Representation Self-Challenging（RSC），显着提高了CNN到外域数据的泛化。 RSC迭代挑战（丢弃）在训练数据上激活的主导功能，并强制网络激活与标签相关的剩余功能。此过程似乎激活适用于域外数据的特征表示，而无需先前了解新域，而不学习额外的网络参数。我们呈现RSC的理论特性和条件，用于改善跨域泛化。

Introduction

想象一下，教育一个孩子从“猫”看视觉上的“狗”：当介绍一下她的图画书中的插图时，她可能会立即回答“猫往往有胖乎乎的面”并结束学习。但是，如果我们继续要求更多差异，她可能会开始注意到耳朵或身体大小等其他功能。我们猜想这种后续挑战问题在帮助人类达到显着的概括能力方面发挥着重要作用。即使在图像出现在不规则的品质中，大多数人都应该能够在视觉上从“狗”中区分“猫”。毕竟，我们在拿起第一个线索后没有停止学习，当我们孩子的时候，即使是第一个线索也足够好，以帮助我们在我们的教科书中识别所有图像。

随着机器学习的影响增加，行业开始要求将可以应用于在训练期间未见的域的模型。作为域适应的延伸，域泛化[18]已被研究作为响应。中心目标是训练一个模型，可以将信号与多个源域对齐。

在本文介绍了一个简单的训练启发式，从而改善了跨域泛化。该方法丢弃与每个epoch的高梯度相关联的表示，并强制模型以预测剩余信息。直观地，在图像分类问题中，我们的启发式工作就像一个“Self-Challenging”机制，因为它可以防止完全连接的层以最常见的亚群预测，例如最常见的颜色，边缘或形状训练数据。命名方法Representation Self-Challenging（RSC），说明图1中的主要思想。

图1，把梯度相应最高的两个logits进行mask，迫使网络去关注其他的logits

总结

这篇论文主要是对logit和梯度进行调整，通过对关键logit进行mask，强化其他相关logit对分类的贡献，避免网络只关注某些特定的特征进行分类。神经网络在分类的过程中通常会有惰性，在某个特征上可以达到分类效果就不会去关注其他特征。这是影响网络在DG（Domain generalization）的任务上性能下降的问题之一。

附

用这个方法做了几个实验。原论文只训练了30个epoch，不改源代码的话第40个epoch会报错。具体原因看它的代码就很清楚，需要把那个对epoch要求的地方进行修改或者注释掉。

实验发现确实可以很快的收敛到一个较好的位置，且测试集精度与训练集精度相差不大。没有出现严重的过拟合现象。但是整体的训练集精度上不去。

该方法的思路确实是个很有创新的思路，但是在实际应用中，精度达不到一个好的效果，只能说是能够达到快速收敛的效果。精度方面还是略差一点。