[学习日志]深度学习-李宏毅 迁移学习

最新推荐文章于 2023-04-17 07:08:15 发布
最新推荐文章于 2023-04-17 07:08:15 发布
阅读量368 收藏 3
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gjh1716718326/article/details/115165822
版权

两种迁移

相同的任务，不同的领域

相同的领域，不同的任务

在这里插入图片描述

迁移学习的概念

所谓迁移学习，是很多种方法的集合。
你可以说某一种方法是迁移学习，或者不是。

这里根据源领域和目标领域的数据是否标注，可以大致分为四类：

  • 源领域有标注，目标领域有标注
  • 源领域无标注，目标领域有标注
  • 源领域有标注，目标领域无标注
  • 源领域无标注，目标领域无标注

源领域有标注，目标领域有标注 fine-tuning

一般而言源领域的标注数据量会比较大，目标领域的标注数据量会比较小。
（当目标领域的数据非常少的时候，可以说是在做OneShotLearning）

这种情况是比较完美的境况，一般训练过程如下：

  • 在源领域的数据上做训练，得到一个模型
  • 将得到的模型作为初始化，再用目标领域数据进行一次训练

这种训练方法称为Fine-tuning，也叫微调。

看上去似乎是很简单的过程，也会出现一些问题，比如目标领域的资料真的特别少的时候，训练很可能会导致过拟合，因此也会有一些训练技巧。

  • Conservative

最低0.47元/天 解锁文章
烫烫烫烫的若愚
关注
李宏毅机器学习课程－Transfer Learning
jiandanjinxin的专栏
12-13 4115
深度学习 -> 强化学习 ->迁移学习（杨强教授报告) 李宏毅机器学习课程－Transfer Learning 迁移学习－吴恩达 freeze 待处理的 理解深层神经网络中的迁移学习及TensorFlow实现 Transfer Learning模式 Similar domain, different tasks Different domains, same
[机器学习入门] 李宏毅机器学习笔记-21（Transfer Learning part 1 ; 迁移学习 part 1）
Holeung blog
07-05 2666
[机器学习入门] 李宏毅机器学习笔记-21（Transfer Learning part 1 ; 迁移学习 part 1） PDF VIDEOTransfer Learning 利用与task没有直接相关的data 什么叫没有直接相关呢？ 比如： whyExample in real life 从漫画家的法则，来理解研究生法则 Overview 分成四个象限：下面将以象
李宏毅机器学习——迁移学习
日积月累，天道酬勤
02-25 2129
引言 本文主要探讨迁移学习。 迁移学习 什么是迁移学习呢？ 假设现在要做猫和狗的分类器，我们需要一样标签数据告诉机器哪些是猫，哪些是狗。 同时，假设现在有一些与猫和狗没有直接关系的数据，这里说是没有直接关系，并不是说是完全没有关系。就是说有一些关系，但又不是直接相关的。 假设现在有自然界真实存在的老虎和大象的图片，那老虎和大象对分辨猫和狗会有帮助吗。 或者说我们有一些卡通动画中的猫和狗图像，...
李宏毅机器学习——Transfer learning迁移学习
qq_27436347的博客
05-02 1033
Transfer Learning要做的是：假设现在手上有与现在进行的task没有直接相关的data，使用这些data来帮助做一些事情。 比如现在要做猫狗的分类器，所谓不直接相关的data就可能是 Similar domain, different tasks（大象与老虎的图片，与猫狗图片的分布是相像的） Different domain, same task（猫狗的卡通图片，与猫狗图片的分布...
[机器学习入门] 李宏毅机器学习笔记-22（Transfer Learning part 2；迁移学习 part 2）
Holeung blog
07-07 1755
[机器学习入门] 李宏毅机器学习笔记-22（Transfer Learning part 2；迁移学习 part 2） PDF VIDEO 接part 1 第四象限 Target data unlabelled，Source Data labelled Zero-shot learning 今天想要辨识草泥马，但是source data中没有一只草泥马！ Representing
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
一天搞懂深度学习--李宏毅.zip
05-16
一天搞懂深度学习--台湾大学电机工程学助理教授李宏毅讲义pdf
深度学习-李宏毅
09-25
《深度学习-李宏毅》是由台湾大学著名教授李宏毅主讲的一套深度学习课程的讲义，这套资料对于深度学习的初学者来说是一份非常宝贵的资源。李宏毅教授以其深入浅出的讲解风格，使得复杂难懂的深度学习概念变得易于...
深度学习-李宏毅-English.pptx
05-15
优质的深度学习资料 一天搞懂深度学习
李宏毅《机器学习》飞桨特训营(十二)——迁移学习(含作业：领域对抗性训练迁移学习)
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
01-09 621
一. 迁移学习(含补充内容) 二. 作业：迁移学习(领域对抗性训练)
台湾大学李宏毅《机器学习》 课程学习笔记.pdf
11-06
主要由监督学习、半监督学习、迁移学习、无监督学习、监督学习中的结构化学习以及强化学习构成。最关键的是本文档带书签。
【李宏毅机器学习笔记】 17、迁移学习（Transfer Learning）
ACL_lihan的博客
02-25 2271
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播...
基于PaddlePaddle的李宏毅机器学习——迁移学习
最新发布
qq_62152445的博客
04-17 362
假设现在要做猫和狗的分类器，我们需要一样标签数据告诉机器哪些是猫，哪些是狗。同时，假设现在有一些与猫和狗没有直接关系的数据，这里说是没有直接关系，并不是说是完全没有关系。就是说有一些关系，但又不是直接相关的。假设现在有自然界真实存在的老虎和大象的图片，那老虎和大象对分辨猫和狗会有帮助吗。或者说我们有一些卡通动画中的猫和狗图像，但不是真实存在的，有没有帮助呢。迁移学习把任务A开发的模型作为初始点，重新使用在为任务B开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务。
李宏毅机器学习34——Transfer learning
weixin_57178683的博客
08-22 658
摘要： 这节课学习了迁移学习，简单来说，就是用一些与目标数据没有直接联系的数据，进行神经网络的训练，这种方法弥补了一般情况下训练神经网络，目标数据缺乏的缺陷。 这节课中，与目标数据没有直接联系的数据叫做source data 根据source data和target data有无label，将迁移学习分为四个大类，这节课主要学习了其中两个大类。对于target data和source data都是labeled的情况，直觉的想法就是用source data直接训练，用target data进行微调，但
2020李宏毅学习笔记——61.Transfer Learning
weixin_44554337的博客
07-16 417
1.概念： Transfer learning是机器学习的一个分支，中文名曰迁移学习，它的目的是在获取一定的额外数据或者是存在一个已有的模型的前提下，将其应用在新的且有一定相关性的task。我们可以将做transfer learning的数据分成两类，一类是source data，另一类是target data。source data指的是额外的数据，与将要解决的任务并不直接相关，而target data是与任务直接相关的数据。在典型的迁移学习中，source data往往巨大，而target data往往
李宏毅学习笔记41.Transfer Learning
老毛的博客
06-19 946
以具体搞笑的实例切入迁移学习的概念，然后给出了迁移学习的概述，在概述中描述了一张可以看到不同种类迁移学习的类型，然后再从表格中每一个类型展开进行讲解。 核心：他山之石可以攻玉
学习提醒 | 深入浅出，李宏毅老师一秒入坑迁移学习！
PaddlePaddle
04-19 189
点击左上方蓝字关注我们热点常有，而爆点则需要天时地利人和。作为机器学习界的“流量明星”——迁移学习，曝光率居高不下！但是，如何入门机器学习呢？就请风趣幽默、深入浅出的李宏毅老师带你一秒入坑...
李宏毅作业十二 Transfer Learning（迁移学习）
闲看庭前雪的博客
12-01 1106
系列文章目录 李宏毅作业十 Generative Adversarial Network生成对抗网络(代码) 李宏毅作业九 Anomaly Detection异常检测 李宏毅作业八unsupervised无监督聚类学习 李宏毅作业七其三 Network Compression (Network Pruning) 李宏毅作业七其二 Network Compression (Knowledge Distillation) 李宏毅作业七其一 Network Compression (Architecuture D
[李宏毅-机器学习]迁移学习 transfer learning
炼丹师
02-16 379
Model Fine-tuning Multi-task learning domain-adversarival training zero-shot learning 网络的输出是种类的特征，然后对这些特征进行embedding，然后按最近的进行分类 将word embedding引入 ...
深度学习入门：李宏毅教授讲座概要
"《1天搞懂深度学习》是由李宏毅（Hung-yi Lee）编写的教程，旨在帮助读者快速理解深度学习的基本概念和技术。讲座分为四个部分：讲座I介绍深度学习、讲座II提供训练深度神经网络的技巧、讲座III探讨神经网络的变种...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值