迁移学习

迁移学习概论

迁移学习中主要研究三个问题:
迁移什么: 指跨域或跨任务迁移哪一部分知识。一些知识可能是特定于单个域或任务的,而一些知识可能在不同域之间是相同的,通过迁移知识的选择可以帮助提高目标域或任务的性能。目前,迁移学习的内容主要分为四类:实例迁移、特征表示迁移、参数迁移、关系知识迁移。
如何迁移: 发现可以迁移的知识之后,需要开发学习算法来迁移知识。
何时迁移: 指的在什么情况下可以进行迁移,在哪些情况下不应该迁移。在某些情况下,当源域和目标域彼此不相关时,强行进行迁移可能会失败。而在最坏的情况下,它甚至可能损害目标域的学习表现,这种情况通常被称为负迁移。如何避免负迁移仍旧是迁移学习领域备受关注的问题。
举例说明迁移学习的概念。想象一下,你从一个完全陌生的领域学习一个主题。你会采取什么不同的方法来理解这个主题?可能会:

  • 网上搜寻资源
  • 阅读文章和博客
  • 参考书籍
  • 寻找视频教程,等等

所有这些都会帮助你熟悉这个主题。在这种情况下,你是唯一一个付出所有时间来熟悉主题的人。但还有一种方法,它可能在短时间内产生更好的结果。你可以咨询对你想要学习的主题具有能力的领域/主题专家。这个人会把他/她的知识传授给你,从而加快你的学习过程。在这里插入图片描述这就是迁移学习背后的思想,是不是很简单!
对于神经网络和卷积神经网络就是从零开始学习的例子。这两个网络都从给定的一组图像中提取特征(对于与图像相关的任务),然后根据这些提取的特征将图像分类在各自的类中,这就是迁移学习和预训练的模型非常有用的地方。

预训练模型

在你将要从事的任何深度学习项目中,预训练的模型都是非常有用的。并非所有人都拥有顶级科技巨头的无限计算能力,相反我们需要使用我们本地有限的机器,需要用到一个强大的工具——预训练模型。
预训练模型是由特定人员或团队为解决特定问题而设计和训练的模型。在训练神经网络和CNNs等模型时学习了权重和偏置,当这些权重和偏置与图像像素相乘时,有助于生成特征。
n n n种预训练过的模型。我们需要决定哪种模式最适合我们的问题。现在考虑下三个与训练好的网络—— B E R T 、 U L M F i T BERT、ULMFiT BERTULMFiT V G G 16 VGG16 VGG16在这里插入图片描述其中,语言建模使用 B E R T BERT BERT U L M F i T ULMFiT ULMFiT,图像分类任务使用 V G G 16 VGG16 VGG16。对于图像分类问题,理应选择 V G G 16 VGG16 VGG16 V G G 16 VGG16 VGG16可以有不同的重量,即 V G G 16 VGG16 VGG16训练在 I m a g e N e t ImageNet ImageNet V G G 16 VGG16 VGG16训练在 M N I S T MNIST MNIST
在这里插入图片描述

I m a g e N e t ImageNet ImageNet M N I S T MNIST MNIST

现在我们对问题确定正确的预训练模型,应该研究这些 I m a g e N e t ImageNet ImageNet M N I S T MNIST MNIST的数据集。 I m a g e N e t ImageNet ImageNet数据集是由1000个类和总共120万张图像组成。其中包括一些类别是动物、汽车、商店、狗、食物和仪器等。在这里插入图片描述 M N I S T MNIST MNIST是训练手写数字的。包括由0到9共10类。在这里插入图片描述
之后,我们根据自己的需求选择合适的网络模型从而进行迁移学习。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值