机器学习之二十一（读书笔记）

最新推荐文章于 2023-06-28 10:20:19 发布

L_cherry_

最新推荐文章于 2023-06-28 10:20:19 发布

阅读量274

点赞数

分类专栏：人工智能读书笔记文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/L_cherry_/article/details/120812743

版权

本文探讨了迁移学习的概念，特别是在任务数据有限的情况下如何利用迁移学习提升模型性能。介绍了常见的方法，如模型微调、多任务学习、无监督迁移学习，并详细讲解了在目标数据有标签和未标签时的不同策略。此外，还涉及零样本学习的挑战及解决方案，包括通过属性表示和语义嵌入进行类别推断。

摘要由CSDN通过智能技术生成

Transfer Learning（迁移学习）
zero-shot learning（零样本学习）

三十四、Transfer Learning（迁移学习）

1、介绍
假设你现在有一些跟你要进行的task没有直接相关的data，能不能利用这些没有直接相关的data帮助我们做什么事情？
比如现在要做的是猫和狗的classifier，那所谓的没有直接相关的data有很多种可能。比如说input的distribution是类似的，都是动物的图片，但是task的label是无关的。similar domain，different tasks或者是different domain，same tasks。
在这里插入图片描述
为什么要做Transfer Learning？要做的task的data太小，利用其它data来帮助实现这个task。

2、方法
Transfer Learning有很多方法：现有有一个想做的task，然后有一些跟这个task有关的data这个叫做target data；有一些data是跟这个task无关的data，叫做source data。这两种data可能是有label的，有可能是unlabeled的。
这里可以分四种可能来讨论：
（一）target data和source data同时有label：
（1）最常见的就是Model Fine-tuning：
在这里插入图片描述
注意：如果target data数量很少，只有几个example而已，这个叫做One-shot learning。
最典型的例子：（supervised）speaker adaption–target data：某一个人的声音；source data：有一大堆来自不同人的声音。做法：
在这里插入图片描述
（fine-tuning：把在source data上train出的model当作是training的初始值，再用target data train下去）
可能会遇到的challenge：

所以在train的时候要很小心，有很多技巧：
技巧1：Conservative Training–现在有大量的source data去train一个语音辨识的neural network，接下来你有target data，如果直接拿这个target data继续去train这个model就坏掉了。怎么办？（1）可以在training的时候下一个constraint，