Deep Leaning 学习笔记之组织机器学习项目(2.3)—— 迁移学习&多任务学习

1 迁移学习

1.1 概念

深度学习中最有力的方法之一,是有时你可以把在一个任务中神经网络 学习到的东西,应用到另一个任务中去。 比如,你可以让神经网络 学习去识别物体,比如猫,然后用学习到的 (一部分)知识 来帮助你更好地识别X射线的结果。 这就是所谓的迁移学习。

1.2 步骤

在这里插入图片描述
比如说X,Y是猫分类器的输入与输出。
将猫分类器迁移为放射结果诊断。
迁移学习,指的是,取出这个神经网络的最后一层,并移除掉这一层以及其相关的权重,然后为最后一层神经网络创建一个新的随机初始化的权重,使用新建的这个输出层来进行放射结果的诊断(新的Y)

1.3 预训练 和 微调

如果要将A功能(猫分类器)迁移为B功能(放射结果诊断)。

  1. 要是你对神经网络的所有参数进行重新训练, 那么这样训练的初始化阶段 有时候被我们叫做预训练(pre-training) 原因是,你在是使用图像识别的数据 来预初始化(pre-initialize)或者说预训练神经网络的权重。 然后如果你在之后对所有的权重进行更新, 那么在放射扫描的数据上的训练有时候被我们叫做**微调(fine tuning) **
  2. 之所以这样的过程是有用的, 是因为从从大规模的图像识别数据集中 学习到的边界检测,曲线检测,明暗对象检测等 低层次的信息, 或许能够帮助你的学习算法更好地去进行放射扫描结果的诊断。 它会在图像的组织结构和自然特性中学习到很多信息, 其中一些信息会非常的有帮助。
  3. 所以当神经网络学会了图像识别 意味着它可能学习到了以下信息: 关于不同图片的 点,线,曲面等等信息, 在不同图片中看起来是什么样子的。 或许关于一个物体对象的很小的细节, 都能够帮助你 在放射信息诊断的神经网络中,学习得更快一些或者减少学习需要的数据。

1.4 适用情况及条件

条件:

  • 在输入相同时(同为图片、语音等)
  • A任务的数据大于B任务的数据

总结:

  • 所以总结一下就是, 你把一个有大量数据的问题模型, 迁移到了一个相对之下仅有很少数据的问题模型中。
  • 一个迁移学习不适用的例子是, (上面讲到的)数据规模被颠倒过来的时候。

2 多任务学习

2.1 概念

多任务学习,指的是,在同一个神经网络上,进行多个目标。比如说一共有10W条数据,进行100个目标,每个目标平均有1000条数据作为支撑,因此当我要看任务A100时,那么其他9.9W条数据就会作为A100的支撑前提,由最后的1000条数据(A100自己的)进行最终训练,其他任务也是如此。
在这里插入图片描述

2.2 使用场景

一般来说,迁移学习用的比多任务学习更多一些。

  • 迁移学习,是在我的A目标,只有一个小的数据集,但是我有一个相关的B目标,有庞大的数据集,这时候可以使用迁移学习。
  • 多任务学习,通常用在图像识别,一次识别好多图像。

3 温馨提示

对于这种图像,仍然可以使用。
在这里插入图片描述
正如在关于多任务学习的讲座中所看到的,您可以计算成本,使其不受未标记某些条目的事实的影响。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值