[短文]CVPR 2019 Unsupervised Domain Adaptation using Feature-Whitening and Consensus Loss 粗读

声明：本文为个人观点，如有不同意见，希望评论区指出，共同进步。

文章解决的问题

一般来说，我们在一个数据集中所训练出来的分类器很难在第二个数据集中有同样好的效果，因为两个数据集的数据往往是在不同条件下获取的。所以为了减少这种问题带来的影响，作者提出了一种新的层，叫做domain alignment layers 来对中间层的特征来进行白化变换(此处给出维基百科，不再赘述)进而使得源和目标的特征分布能够匹配。

文章中具体的做法

作者的做法主要可以通过上面这张图来表示且分成两个主要的步骤。
1.首先通过协方差矩阵使得源数据的特征和目标数据集特征的协方差矩阵对齐。
2.然后再通过 Min-Entropy Consensus (MEC) loss使在源数据集(用来预训练且标注好的数据集)的交叉熵和目标数据集上的同类一致性损失相加作为训练的对象。
放到上面那张图上，我们可以看到作者在Conv和Relu层中间加入了他设计的DWT层，使得特征分布对齐，然后后面MEC Loss 则是对同一类目标进行预测。算出两张图都是同一个目标的最大概率后，接着求对数(极大似然估计)，在前面加上负号，使它最小，进而做到无监督。具体的计算步骤在文章的第三部分，且描述的十分详细。

总体来说：作者给出了一种新的替代BN层的方案，能够使得不同数据来源的特征分布相对齐，同时还为Hessian矩阵提供了更好的条件，使得其下降效果接近于牛顿法。但是也有很多限制，首先可以简单看出来的就是对损失函数限制以及对源数据集的要求，某种程度上损失了一定的灵活性(个人理解)。

文章关键词：无监督 白化变换 极大似然估计

文章摘要：

A classifier trained on a dataset seldom works on other datasets obtained under different conditions due to domain shift. This problem is commonly addressed by domain adaptation methods. In this work we introduce a novel deep learning framework which unifies different paradigms in unsupervised domain adaptation. Specifically, we propose domain alignment layers which implement feature whitening for the purpose of matching source and target feature distributions. Additionally, we leverage the unlabeled target data by proposing the Min-Entropy Consensus loss, which regularizes training while avoiding the adoption of many user-defined hyper-parameters. We report results on publicly available datasets, considering both digit classification and object recognition tasks. We show that, in most of our experiments, our approach improves upon previous methods, setting new state-of-the-art performances.

文章地址与源码

文章地址：https://arxiv.org/pdf/1903.03215.pdf
源代码：https://github.com/roysubhankar/dwt-domain-adaptation

作者信息

Subhankar Roy1,2, Aliaksandr Siarohin1, Enver Sangineto1, Samuel Rota Bulo` 3, Nicu Sebe1 and Elisa Ricci1,2
1DISI, University of Trento, Italy,
2Fondazione Bruno Kessler, Trento, Italy,
3Mapillary Research{subhankar.roy, aliaksandr.siarohin, enver.sangineto, niculae.sebe, e.ricci}@unitn.it
samuel@mapillary.com