深度学习(迁移学习详解)

什么是迁移学习

迁移学习是指将一个场景下学习到的知识迁移到另一种场景去应用。

为什么要进行迁移学习

1.使用深度学习技术解决问题的过程中,最常见的障碍在于,因为模型有大量 的参数需要训练,因此需要海量训练数据作支撑。
2.在面对某一领域的具体问题时,通常可能无法得到构建模型所需规模的数据。
3.借助迁移学习,在一个模型训练任务中针对某种类型数据获得的关系也可以 轻松地应用于同一领域的不同问题。
在这里插入图片描述

迁移学习的应用场景

在这里插入图片描述

迁移学习的种类

源数据和目标数据都有标签

模型Fine-­‐tune

在这里插入图片描述

训练方式

保守训练/Conservative Training

保守训练又可以分为参数很接近和输出很接近两种。参数很接近是指在应用到目标数据集中将各层的参数波动限制在一定范围内;输出很接近的本质也是保证参数很接近。
在这里插入图片描述

层转移/Layer Transfer

在这里插入图片描述
在这里插入图片描述

Multitask Learning

Multitask Learning不仅在乎网络模型应用在目标数据的结果,也在乎模型应用在源数据的结果。
在这里插入图片描述

源数据有标签,目标数据无标签

在这里插入图片描述

域对抗/Domain-­‐adversarial training

在这里插入图片描述

零样本学习/Zero-­‐shot Learning

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其他情况

在这里插入图片描述

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 1024 设计师: 上身试试
应支付0元
点击重新获取
扫码支付

支付成功即可阅读