【无标题】

Domain Adaptation李宏毅课程学习笔记

首先是需要进行Domain Adaptation的情景。若目标域存在大量有标签样本，则直接使用目标域数据进行训练即可，不需要进行Domain Adaptation（这种场景的模型准确率可以作为Domain Adaptation）的上限。若目标域存在少量标签样本，这种情况下可以对源域数据进行训练，再使用少量目标域的有标签样本进行模型微调。但是这种情况下，由于目标域数据量较小，需要小心overfitting的问题。当目标域上存在大量无标签样本时，可以使用Domain Adaptation的方法。

Basic Idea

构建一个可以提取域不变特征的Feature Extractor。

如何找出这样的Feature Extractor呢？将一个Classfier模型分为两个部分，分别是Feature Extractor和Label Precditor。如何训练Feature Extracotr和Label Predictor呢？

仅针对源域数据而言，训练过程与一般的训练Classfier的过程一致，但是我们不能期待将目标域的数据直接放进这个Classifier中，就可以获得一个理想的标签。这里关注的点是Feature Extractor提取的嵌入特征，图片里将源域数据的嵌入特征标注为蓝色，目标域数据的嵌入特征标注为红色。我们的目标是在经过Feature Extractor后，蓝色的点和红色的点分不出差异。这里提到的第一种方法就是Domain Adaversarial Training（域对抗训练）。
Domain Adversarial Training
Domian Adversarial Training的核心思想是训练一个Domain Classifier（域判别器），Domain Classifier的输入是Feature Extractor提取的嵌入特征，其本质是一个二元分类器，判断输入的向量是来自源域还是目标域。而Feature Extractor的目标是尽量骗过Domain Classifier（类似于GAN）。二者形成一种对抗关系。这里李宏毅老师提出了一个问题，在这种对抗关系中，Feature Extractor的优势可以说是很大的，不管输入的是来自源域还是目标域的数据，Feature Extractor只要输出一个0向量，Domain Classifier就永远无法分辨嵌入特征是来自源域还是目标域。这种情况其实是不会发生的，因为原始模型中的Label Predictor也需要Feature Extractor提取的嵌入特征进行分类判别。

这里给出了符号化的解释：

假设Feature Extractor（相当于GAN中的Generator）中的所有参数是θf，Label Predictor中的所有参数是θp，Domain Classifier中的所有参数是θd。源域数据（有标签）的交叉熵损失是L，Domain Classifier的损失是Ld。这里，我们需要找到最合适的θp，使得源域数据分类损失L越小越好；找到合适的θd，使得Domain Classifier的损失越小越好。而Feature Extractor的目标与Label Predictor一致，与Domain Classfier相反，因此需要找到最合适的θf，使得L-Ld越小越好。
这里其实存在一定的思考空间，我们知道，Feature Extractor的目标是在提升源域数据的分类准确率，同时使得源域数据和目标域数据难以分辨，但是单纯地在Ld前加符号，他的目标就可以理解为：将源域数据判别为目标域数据，而将目标域数据判别为源域，这样其实在另一种程度上实现了源域和目标域的判别。