transfer learning and fine tuning

最新推荐文章于 2024-10-13 09:23:36 发布
最新推荐文章于 2024-10-13 09:23:36 发布
阅读量629 收藏
点赞数 1
分类专栏： 机器学习 机器学习 文章标签： transfer learning fine-tuning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vola9527/article/details/80011056
版权

transfer learning / fine tuning

卷积神经网络需要大量的数据和资源来进行训练, 例如, imagenet ILSVRC model 是需要在1.2 million 张图片,利用多GPU,耗时2-3个周的训练才能完成.
transfer learning 是将在之前任务(例如image net)训练过的网络权值,迁移到一个新任务上去. 研究者们或者参与者们已经更习惯于, 而非偶尔使用transfer learning and fine-tuning.
而且, 迁移学习和fine-tuning 策略确实表现得不俗. Razavian et al (2014)的实验表明,简单的使用从 image net ILSVRC训练的到的模型来进行特征提取, 利用提取到的特征来训练新的模型.利用这样的策略进行一系列的计算机视觉任务,他们得到了state-of-the-art或者说接近state-of-the-art的实验结果.

  • trainsfer learning: 利用在image net(或其他数据集)上训练的网络. 去掉最后的fully-connected layer. 然后将网络剩余部分当做一个feature extractor, 以用于其他新的数据. 一旦利用该网络对所有图片提取到了特征. 可以用这些特征训练一个新的classifier.
  • Fine-tuning: 去掉并重新训练网络上层的全连接层, 并且微调网络其余部分的权重.

使用哪种策略

  • 有两点因素需要考虑
    1. 你所用数据的规模
    2. 你所用数据库和已训练网络数据库之间的相似性.
  • 用自己的数据从零开始训练网络, 这个策略也得考虑.

根据以上表格, 情况分为四种:
* 相似数据集 & 小规模数据集(你的数据集): 迁移高层特征(尽量去除已有网络高层的全连接层, 将剩余部分作为分类器), 利用网络提取特征, 然后训练分类器. 不进行fine-tuning, 避免了在小规模数据集上带来overfit问题, 使用提取的高层特征, 是利用了两个数据库之前的相似性.
* 非相似 & 小规模数据库: 迁移底层特征, 提取特征训练数据库. 不建议进行fine-tuning,是为了避免在大数据库上训练的特征会给小数据集的训练带来overfit. 使用底层的特征是以为底层的特征一般比较general.
* 相似数据集 & 大规模数据集: 进行fine-tuning, fine-tuning是为了避免overfit.
* 非相似数据集 & 大规模数据集: 进行fine-tuning, fine-tuning是为了避免overfit.

vola9527
关注
专栏目录
Adapter Tuning：详细解读Parameter-Efficient Transfer Learning for NLP
沉迷单车的追风少年
06-04 1614
大语言模型实在是太火了，各种技术日新月异，研究diffusion models的从LLMs中找一些研究灵感已经是基操了。当模型比较小的时候，微调全部参数还是可以的。但是现在的大预训练模型时代，微调所有参数不仅效果堪忧，对资源的消耗也非常恐怖，所以这就是做有效微调的初衷。为了研究清楚如何进行有效的大模型微调，我打算沿着Adapter Tuning——Prefix Tuning——Prompt Tuning——P-Tuning——lora的路线详细讲解一下，希望可以对做diffusion models的同学有所
迁移学习（Transfer Learning）、微调（Fine Tuning）
u013250861的博客
02-11 659
参考资料： 模型微调（Finetune）
迁移学习(transfer learning)与finetune的关系？【finetune只是transfer learning的一种手段】
MOL
12-17 7818
目录 1.迁移学习简介 2.为什么要迁移学习？ 3.迁移学习的几种方式 ​ 1）Transfer Learning： 2）Extract Feature Vector： 3）Fine-tune： 3、三种迁移学习方式的对比 1.Fine-tune所扮演的角色 2.Fine-tune 也可以有三种操作方式 3.不同数据集下使用微调 四、微调的注意事项 多重预训练视觉模型的迁移学习 1.迁移学习简介 迁移学习(transfer learning)通俗来讲，就是运用已有的知识来学习新
GitHub简介
最新发布
qq_63913621的博客
10-13 940
GitHub是目前全球最受欢迎的代码托管平台之一，专门用于协作式开发，特别是开源项目的协作。它是基于版本控制工具Git，提供了代码托管、版本管理、项目协作和软件开发工具集成等功能。
深度学习模型的TransferLearning与Finetuning
AI天才研究院
01-28 681
1.背景介绍 深度学习模型的TransferLearning与Fine-tuning 1. 背景介绍 随着数据规模的增加和计算能力的提升，深度学习技术在近年来取得了显著的进展。深度学习模型已经应用于各个领域，如图像识别、自然语言处理、语音识别等。在实际应用中，我们经常会遇到一些问题，如数据集较小、计算资源有限等。为了解决这些问题，我们需要利用现有的模型进行迁移学习(TransferLearn...
（Transfer Learning and fine tuning）迁移学习与微调
jyjy0608的博客
05-14 366
迁移学习：借助预训练模型，泛化到我们自己的模型上 举栗子VGG16网络，在ImageNet上已经训练好，是一个预训练模型，有1000个分类 1、当我们的数据集较小时，只修改最后一层全连接层，冻结其余所有层的结构和权重； 2、当我们的数据集较大时，修改所有全连接层，冻结其余所有卷积层的结构和权重； ...
翻译: 迁移学习和微调 Transfer learning & fine-tuning
AI架构师易筋
04-30 808
fit()如果您使用自己的低级训练循环而不是，则工作流程基本保持不变。同样用于微调。
迁移学习101 Transfer learning, pretrained learning, fine tuning .htm
11-29
机器学习 深度学习 pytorch tensorflow
机器学习教程 -- Transfer Learning
01-30
Transfer Learning Transfer Learning - Overview Model Fine-tuning Conservative Training Layer Transfer Layer Transfer - Image Multitask Learning Multilingual Speech Recognition
【论文笔记】SpotTune: Transfer Learning through Adaptive Fine-tuning
缘来如此
04-22 3349
【CVPR2019】SpotTune: Transfer Learning through Adaptive Fine-tuning 论文链接：SpotTune: Transfer Learning through Adaptive Fine-tuning 一. Introduction 使用深度学习模型时，微调(fine-tune)是应用最普遍的迁移学习方法。它具体指先在源任务上...
Hands-On Transfer Learning with Python
10-18
Our focus then shifts to transfer learning concepts, such as model freezing, fine-tuning, pre-trained models including VGG, inception, ResNet, and how these systems perform better than DL models with...
keras 开发者文档 12： 迁移学习和微调（Transfer learning & fine-tuning）
xiaojianzhao的博客
07-15 2022
文章目录设置介绍冻结层：了解可训练的属性示例：BatchNormalization图层具有2个可训练的权重和2个不可训练的权重例子: 设置trainable 为 False可训练属性的递归设置例子：典型的迁移学习工作流程微调关于compile（）和可训练的重要说明有关BatchNormalization层的重要说明通过自定义训练循环进行学习和微调端到端示例：微调猫和狗的图像分类模型获取数据标准化数据使用随机数据扩充建立模型训练顶层对整个模型进行一轮微调 设置 import numpy as np impor
fine-tune 微调 Transfer learning 迁移学习 动手学深度学习v2
AI架构师易筋
04-25 430
1. Fine-tuning 微调 Transfer learning Fine-tuning 微调是整个深度学习领域是最重要的技能。如果前面的知识只能选择一个，那就是微调了。Transfer learning迁移学习，就是可以用别的成功网络的参数等来训练跟你相似的模型。简单来说是重用。 跟详细知识请参考： Transfer learning 迁移学习指南 2. 代码实现 3. Q&A fine tuning和transfer training实际上是同
transfer learning与finetuning区别
飞鸟无涯
08-07 1697
举个例子，假设今天老板给你一个新的数据集，让你做一下图片分类，这个数据集是关于Flowers的。问题是，数据集中flower的类别很少，数据集中的数据也不多，你发现从零训练开始训练CNN的效果很差，很容易过拟合。怎么办呢，于是你想到了使用Transfer Learning，用别人已经训练好的Imagenet的模型来做。 做的方法有很多： 把Alexnet里卷积层最后一层输出的特征拿出来，然
预训练（pre-learning）、微调（fine-tuning）、迁移学习（transfer learning）
顺其自然~专栏
01-05 1204
将预训练模型的参数应用于新的相关任务，可以利用预训练模型在大规模数据上学习到的通用特征，从而在新任务上提高性能。这是因为在预训练阶段，模型学习到了大量的数据中的通用特征，这些特征对于许多任务都是有用的。预训练的好处在于，通过利用大规模数据进行训练，模型可以学习到更泛化的特征表示，从而在具体任务上表现更好。通过预训练，在大规模数据上学习到的通用特征表示可以作为初始化参数，加速模型在特定任务上的训练过程。预训练后，模型的参数会被调整到一种更有用的表示形式，使得它能够从输入数据中提取有意义的特征。
迁移学习和fine-tuning区别
真心乖宝宝的博客
07-21 616
迁移学习(Transfer learning) 迁移学习是一种思想，并不是一种特定的算法或者模型，目的是将已学习到的知识应用到其他领域，提高在目标领域上的性能 fine-tuning 在深度学习里，这仅仅是一个处理手段，之所以现在大量采用fine-tuning，是因为有很多人用实验证实了：单纯从自己的训练样本训练的model，效果没有fine-tuning的好 区别 从范围上来说，Transfer learning是大于fine-tuning的， fine-tuning只是实现手段，transfe
Keras：在预训练的网络上fine-tune
akadiao的博客
06-01 5756
Keras：自建数据集图像分类的模型训练、保存与恢复 Keras：使用预训练网络的bottleneck特征 准备 fine-tune的三个步骤: 搭建vgg-16并载入权重; 将之前定义的全连接网络加载到模型顶部,并载入权重; 冻结vgg16网络的一部分参数. 在之前的Keras：自建数据集图像分类的模型训练、保存与恢复里制作了实验用的数据集并初步进行了训练.然后在Keras：使用预...
Borrowing treasures from the wealthy: deep transfer learning through selective joint fine-tuning
lihuahuanluoluo的博客
10-26 1197
做一些笔记 2017_CVPR_Borrowing treasures from the wealthy: deep transfer learning through selective joint fine-tuning Introduction： 1. 如果用少量的数据训练深度网络，那么它的性能可能还不如传统方法。少量的数据并不能够展现出sample diversity，所
[人工智能-深度学习-46]：FineTuning（微调）、Transfer Trainning（迁移学习）的理论基础与深度解析
热门推荐
文火冰糖（王文兵）的博客
11-14 1万+
第1张 前言：常见的工程诉求与特点 （1）数据集欠缺 个人的数据集小，无法提供向ImageNet这样的大数据集，但又想利用在ImageNet上训练的模型好的模型，为我所用，即基于在一些知名的数据集上训练好的模型，在进一步的训练，以满足自己的应用场景的需求，而无需重头开始训练。 （2）分类数多变 个人特定的应用，分类的种类与Image（1000种分类）等知名数据集的分类的种类不同，我们想在已经训练好模型的基础上，做适当的重新训练，以支持我们自己的分类数目，如100分类。 （3）防止过度训练，即过..
android transfer learning
05-18
Android transfer learning refers to the process of using a pre-trained machine learning model and fine-tuning it for a specific task on an Android device. Transfer learning is a popular technique in ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值