李宏毅机器学习笔记第17周_概述领域自适应（Domain Adaptation）

最新推荐文章于 2024-05-25 11:16:24 发布

MoxiMoses

最新推荐文章于 2024-05-25 11:16:24 发布

阅读量840

点赞数 2

文章标签：机器学习深度学习

本文链接：https://blog.csdn.net/peaunt1/article/details/126105140

版权

文章目录

一、Domain Shift
二、Domain Adaptation
三、Basic Idea
四、Domain Adversarial Training
五、Considering Decision Boundary

一、Domain Shift

如下图所示，有几种Domain Shift的情况。第一种是在训练资料上是黑白的数字图片，而测试资料上是彩色的数字图片；第二种是在训练过程中的输出分布非常平均，而测试过程中的输出分布比较陡峭；最后一种是一张图片在训练资料中可能是“0”，而在测试资料中可能是“1”。在后面的内容中，就会用第一种情况来进行说明。
在这里插入图片描述

二、Domain Adaptation

如下图所示，Target Domain（带有颜色的图片）上有大量的训练资料，但是我们不知道每个图片上面的数字是什么，现在的问题是怎么把Target Domain的资料用在Source Domain上，训练出一个模型，然后用在Target Domain上？
在这里插入图片描述

三、Basic Idea

现在的想法是有一个Feature Extractor，它会忽视掉Source Domain和Target Domain中图片的颜色，然后把图片作为输入，输出一个feature（Source Domain和Target Domain中相同的分布）。
在这里插入图片描述

四、Domain Adversarial Training

1．如下图所示，我们把Source Domain中的图片输入到模型后，会得到正确的输出，但是现在的问题是把Target Domain中的图片输入后，我们怎么判断输出是否正确呢？解决方法是我们把Source Domain和Target Domain中的图片通过Feature Extractor得到的分布如果没有差异，即可以进行判断。
在这里插入图片描述
2．于是我们训练一个Domain Classifier，让它无法分辨出Source Domain和Target Domain通过Feature Extractor后得到输出之间的差异。