机器学习之二十一(读书笔记)

本文探讨了迁移学习的概念,特别是在任务数据有限的情况下如何利用迁移学习提升模型性能。介绍了常见的方法,如模型微调、多任务学习、无监督迁移学习,并详细讲解了在目标数据有标签和未标签时的不同策略。此外,还涉及零样本学习的挑战及解决方案,包括通过属性表示和语义嵌入进行类别推断。
摘要由CSDN通过智能技术生成
  • Transfer Learning(迁移学习)
  • zero-shot learning(零样本学习)

三十四、Transfer Learning(迁移学习)

1、介绍
  假设你现在有一些跟你要进行的task没有直接相关的data,能不能利用这些没有直接相关的data帮助我们做什么事情?
  比如现在要做的是猫和狗的classifier,那所谓的没有直接相关的data有很多种可能。比如说input的distribution是类似的,都是动物的图片,但是task的label是无关的。similar domain,different tasks或者是different domain,same tasks。
在这里插入图片描述
  为什么要做Transfer Learning?要做的task的data太小,利用其它data来帮助实现这个task。
在这里插入图片描述
  
2、方法
  Transfer Learning有很多方法:现有有一个想做的task,然后有一些跟这个task有关的data这个叫做target data;有一些data是跟这个task无关的data,叫做source data。这两种data可能是有label的,有可能是unlabeled的。
  这里可以分四种可能来讨论:
(一)target data和source data同时有label:
  (1)最常见的就是Model Fine-tuning
在这里插入图片描述
注意:如果target data数量很少,只有几个example而已,这个叫做One-shot learning
  最典型的例子:(supervised)speaker adaption–target data:某一个人的声音;source data:有一大堆来自不同人的声音。做法:
在这里插入图片描述
  (fine-tuning:把在source data上train出的model当作是training的初始值,再用target data train下去)
  可能会遇到的challenge:
在这里插入图片描述
  所以在train的时候要很小心,有很多技巧:
  技巧1:Conservative Training–现在有大量的source data去train一个语音辨识的neural network,接下来你有target data,如果直接拿这个target data继续去train这个model就坏掉了。怎么办?(1)可以在training的时候下一个constraint,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值