【无标题】

**

DANN文献阅读笔记

**

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

目前具有较高精度的模型都是在有大量数据的基础上进行训练的。在有标签样本较少，同时不同域上的样本具有相接近的特征的情况下，通常可以尝试使用域适应的方法。Unsupervised Domain Adaptation by Backpropagation这篇文章提出了一种域适应的方法，当源域上有大量有标签数据，而目标域有大量无标签数据时，可以使用这种DANN的方法。
在训练过程中，特征提取器可以提取源域和目标域的特征，这些特征可以达到如下的效果：（1）实现源域上对不同标签样本的区分；（2）对域迁移不敏感。这种自适应的行为几乎可以在任何前馈神经网络模型中实现，并且实现步骤并不复杂，相比于传统的神经网络模型，仅仅稍微改变了模型的结构，并且添加了一个梯度反转层，由此产生的模型结构可以使用标准的反向传播进行训练。
此外，使用目前流行的深度学习框架实现该模型并训练难度都不高。DANN在一些列的图像分类实验上表现良好，在存在domain shift的情况下体现了很好的自适应效果，在Office数据集上的表现也优于之前的前沿算法。

---

一、前言

Domain Adaptation是一种在源域和目标域特征分布不同的情况下进行学习的方法。域适应的方法其实在浅层学习中就有一定体现，例如，在给定数据特征表示的情况下，在源域和目标域之间建立映射，这样在源域上训练的分类器也可以应用于目标域。DA可以在目标域有少量标签或无标签的情况下学习域之间的映射。DANN这篇文章主要强调在无标签的情况下进行DA。不同于之前的大多数使用固定特征表示的域适应论文，这篇文章将域适应和深度特征学习结合在一个训练过程中，通过这种方式学习到的特征一方面可以满足源域上的分类器准确率，同时也对Domain Shift不敏感，因此可以在目标域很好地应用。
主要的方法可以概括为：优化特征提取器，标签分类器以及域分类器。模型输入中包含源域和目标域的输入，特征提取器用于提取原始输入的嵌入特征。源域的嵌入特征被输入至标签分类器中进行判别，而域分类器用于对不同的域进行判别。模型参数优化也按照这三个基本部分分别进行优化。其中，标签分类器的优化目标与传统神经网络类似，试图最小化预测标签与实际标签之间的误差；域分类器部分的参数优化目标是使得域分类器无法辨别源域和目标域，以此减少Domain Shift造成的特征分布不同，鼓励在优化过程中出现域不变特征；而特征提取器的优化目标则是结合二者，既要使得源域标签分类器误差小，又要使得域分类器误差大。

图1 DANN的基本结构

二、数学原理

输入数据x，服从分布x ∈ X，标签y∈Y，Y = {1, 2, . . . L}。在 X ⊗ Y存在源域分布S(x, y)和目标域分布T (x, y)，二者存在一定相似性。训练样本{x1, x2, . . . , xN }来源于源域和目标域的边缘分布S(x) 和T (x)。di表示样本的域标签，若di=0，则xi∼S(x) ，即样本来自源域；若di=1，则xi∼T(x) ，即样本来自目标域。训练阶段，源域样本的标签是已知的，而目标域标签未知，需要在测试阶段进行预测。
作者的整体网络结构分为三个部分，首先是通过映射Gf进行特征提取，将原始输入嵌入到一个D维的特征空间RD中，该特征向量称之为f。这个映射过程中包含一系列的前馈层，所有层中的参数为θf。综合而言，特征提取器完成了一个这样的映射：f = Gf (x; θf )；第二部分标签分类器中，特征向量f通过一个映射Gy映射到标签y上，这个映射中所有层的参数为θy；第三部分域分类器中，同样，特征向量f通过一个映射Gd映射到域分类标签d上，这个映射中所有层的参数为θd。
在学习过程中，需要尽量减少样本标签预测的损失，因此，在优化特征提取器和标签分类器的过程中，都