域适应目标检测初识--学习笔记

1.基本思想

域适应基本思想：使某个数据集 适应不同的领域

实际生活中带有标注的数据集很容易取得，但是获得的数据集和我们最终应用的数据集来源的域往往是不同的。比如我们有一个漫画风格的汽车图片数据集，但我们要将他训练出的模型，来识别现实风格的汽车。这就需要用到域适应了

2.迁移学习和域适应

迁移学习(Transfer Learning)是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务。 迁移学习对人类来说很常见，例如，学习识别水稻可能有助于识别小麦，或者学习弹奏管风琴可能有助于学习钢琴。

 在迁移学习中， 当源域和目标的数据分布不同 ，但两个任务相同时，这种特殊的迁移学习叫做域适应 （Domain Adaptation，DA ）。域适应属于一种迁移学习。

怎样理解域和任务呢，域就是说数据集的图像，比如手绘图像，机器拍的图像等等；任务就是说标签的条件分布、空间类别数量，比如cifar-10和cifar100就是任务数量不同

DomainAdaptation∈TransferLearning

3.域适应类别

根据博主“点PY”的总结，基于 Wang 等人的这篇综述论文：Deep Visual Domain Adaptation: A Survey（《深度视觉域适应研究综述》），以及 Wilson 等人的这篇评论文章：Unsupervised Deep Domain Adaptation（《无监督深度域适应》）。在这项工作中，作者区分不同类型的域适应，取决于任务的复杂性、可用的标记 / 未标记数据的数量以及输入特征空间的差异。它们特别定义了域适应问题，即任务空间相同，区别仅在与输入域的散度（divergence）。根据这个定义，域适应可以是同构（homogeneous）的（输入特征空间相同，但数据分布不同），也可以是异构（heterogeneous）的（特征空间及其维度可能不同）。

域适应也可以在一个步骤（一步域适应（one-step domain adaptation））中发生，或者通过多个步骤发生，遍历过程中的一个或多个域（多步域适应（multi-step domain adaptation））。在本文中，我们将只讨论一步域适应，因为这是最常见的域适应类型。

根据你从目标域获得的数据，域适应可以进一步分类为 监督（supervised）域适应（你确实标记了来自目标域的数据，尽管这些数据的数量，对于训练整个模型来说还是太小了）、半监督（semi-supervised）域适应（你既有已标记的数据，也有未标记的数据）、无监督（unsupervised）域适应（你没有来自目标域的任何标记数据）。因此，设置可以是监督的、半监督的、无监督的（在目标域中没有分类损失函数）。

一步域适应分为：

基于散度的域适应(通过 最小化源和目标数据分布之间的散度准则来实现，从而实现 域不变的特征表示 )

基于对抗的域适应（使用生成模型（生成对抗网络，GAN）或域混淆损失函数）

基于重建的域适应等等（使用堆叠式自编码器（stacked autoencoders，SAE）或生成对抗网络）

后续文章详细介绍​​​​

相关内容补充：

4..预训练权重

训练权重即预先训练好的权重，这类权重是在大型数据集上进行训练的，训练出来的权重是普遍通用的预训练通过自监督学习从大规模数据中获得与具体任务无关的预训练模型。预训练模型是一种迁移学习的应用，利用大量的数据，学习通用的知识，其训练能很好地运用在迁移学习

通过使用预训练模型，用于解决相似领域的问题。迁移学习用预训练模型来训练相似模型，可以使得站在前人的肩膀上，消耗更少的时间和资源

适用于少量标签，大量数据，其也可以运用于域适应的领域。

5.GAN生成对抗网络模型

一种无监督学习。gan的技术广泛运用在ai照片转图画。主要内容是判别器和生成器。判别器”在模型训练中比“生成器”能力强，识别出生成器给的假数据，那生成器会修改自己，提升制作数据的能力，反之，如果判别器识别“假数据”的能力弱，找不到生成器做的“假数据”，判别器就会修改自己，提升识别假数据的能力。在这种自我斗争左右互搏的过程中，在这种零和博弈中，生成输出数据。

传统的深度学习，问题域不同时，发生了变化时，一个模型就不能继续用了

而域适应 就可以解决这个问题。它在不同（但相关）的目标分布的背景下，使用在源分布上训练的模型。通常，域适应使用一个或多个源域中的标记数据来解决目标域中的新任务。因此，源域和目标域之间的关联程度通常决定了适应的成功程度。

参考文章：

http://t.csdn.cn/ENbQg

https://www.baidu.com/link?url=qSDXjaFbwofx5M5Ck3HejU3MyE3xD2lKelyeVeLo4VjzD6aytgQGv3qiN3AKNZ-7xjQPh4yslIpPyjdoFJOSuqN0ZPbEByuf3kpM_FWBVDMUHDd-atTTeWYJvAsJinh5B-_KFCg6W2H37wWu0PRVOwpp_KMsN_wqQJw8KZI7lSqzqtN4DrPpz4IfC8uSUgioGRvueom0qOPs_y2X4-xhcRmJbvzH7zMk3D1ivQx7Cnwn-vTDF0ahXytBuCVoeOmih7F2y-1NKNK6FLreZq_mfK&wd=&eqid=ab70df2b00047f92000000066465b0b2