使用迁移学习后使用微调再次提高模型训练的准确率

最新推荐文章于 2024-06-03 00:45:46 发布
最新推荐文章于 2024-06-03 00:45:46 发布
阅读量1.9k 收藏 14
点赞数
分类专栏： 深度学习 机器学习vs计算机视觉 文章标签： 卷积 深度学习 神经网络 人工智能 卷积神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45592298/article/details/110912925
版权
机器学习vs计算机视觉 同时被 2 个专栏收录
173 篇文章 56 订阅 ¥69.90 ¥99.00
订阅专栏
深度学习
115 篇文章 63 订阅 ¥89.90 ¥99.00
订阅专栏
本文介绍了如何通过微调在使用迁移学习后进一步提高模型的训练准确率。首先，微调涉及冻结预训练模型的底部卷积层，训练新添加的分类器层和部分顶部卷积层。接着，详细阐述了微调的步骤，包括添加自定义层、冻结层、训练分类器、解冻部分卷积层并联合训练。在Jupyter环境中运行的示例显示，这种微调方法能有效提升模型的准确率，特别是对于顶层的抽象特征与分类任务关联性更强的卷积层。
摘要由CSDN通过智能技术生成

使用迁移学习后使用微调再次提高模型训练的准确率

1、微调

所谓微调：冻结模型库的底部的卷积层，共同训练新添加的分类器层和顶部部分卷积层。这允许我们“微调”基础模型中的高阶特征表示，以使它们与特定任务更相关。

只有分类器已经训练好了，才能微调卷积基的顶部卷积层。
如果有没有这样的话，刚开始的训练误差很大，微调之前这
些卷积层学到的表示会被破坏掉。

2、微调步骤

一、在预训练卷积基上添加自定义层
二、冻结卷积基所有层
三、训练添加的分类层
四、解冻卷积基的一部分层
五、联合训练解冻的卷积层和添加的自定义层

3、在jupyter上运行的解释

这是使用迁移学习后，进行自定义训练
在这里插入图片描述
冻结一些层，训练某一部分层，但要保证自定义训练完了再开始冻结
在这里插入图片描述
可以看出直接进行冻结后的训练，准确率会有一定的提高
在这里插入图片描述

4、总结

卷积层：底层纹理等通用特征
顶层抽象的特征与分类任务密切相关

@@南风
关注
专栏目录
订阅专栏
【深度学习】迁移学习方法的妙用（有效提升准确率）
李响
05-13 1502
【深度学习】迁移学习方法的妙用（有效提升准确率） 文章目录 1 一个普通的神经网络 1.1 数据预处理 1.2 分割训练集和测试集合 1.3 搭建模型 2 使用ImageNet数据集 2.1 搭建模型 2.2 训练后结果 3 快速迁移学习 3.1 搭建特征提取模型并导出特征 3.2 训练全联接分类器 4 模型融合 1 一个普通的神经网络 接下来的内容，我们以 gaggle 上的一个比赛一猫狗大战（htps: / www. Kaggle.com/c/dogs-vs-cats-redux-ke
迁移学习训练集准确率一直上不去_原创 | 清华开源迁移学习算法库
weixin_39793434的博客
11-19 1211
本文长度为1700字，建议阅读6分钟本文为你介绍 Trans-Learn 算法库。Trans-Learn是基于PyTorch实现的一个高效、简洁的迁移学习算法库，目前发布了第一个子库——深度域自适应算法库（DALIB），支持的算法包括：Domain Adversarial Neural Networks （DANN）Deep Adaptation Network （DAN）Joint Adapta...
15） 训练 一个 微调之后的 vgg16 模型；keras； deeplizard
非正经研究生的猪圈
09-23 90
实训部分 又来了，准备数据 正式的训练 由此开始 可见，我们 仅仅 经历了 5 个 epoch 就很 精确了，因为 vgg 早早就已经 在 猫狗数据集 上 训练过了！ 备注，这里 也嫩 看到， validation set 和 trainning set 的精度 都是 挺高了，记得我们之前自己的 model，其 validation set 的精度 不高， 说明 模型的 泛化能力 很不好，但是，这 vgg16 的 泛化能力 好多了。 end 参考 vid blog ...
用python编写的caffe网络工具：包括网络训练、微调及中断后继续训练功能
爱吃菠菜的大力士
03-24 623
-- coding: utf-8 --“”” Created on Fri Mar 24 17:15:01 2017@author: 爱吃菠菜的大力士 “”” import osclass Net():def __init__(self): @staticmethod def fileopt(filename,content): fp=open(filename,'w') fp
Darknet如何继续用已有模型继续训练 clear命令微调模型
xgd2016的博客
07-21 2963
正常情况下，很多时候都是直接使用预训练模型进行训练 ./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74 如果出现意外还可以继续使用.backup文件进行训练 ./darknet detector train cfg/coco.data cfg/yolov3.cfg backup/yolov3.backup 如果加上-clear 则模型会从初始状态开始 ./darknet detector t.
迁移学习的微调策略：如何有效地微调模型
最新发布
AGI通用人工智能之禅
06-03 66
TensorFlow 是由谷歌开发的开源机器学习框架，广泛应用于各种深度学习任务。它提供了丰富的工具和库，支持从研究到生产的全流程开发。PyTorch 是由 Facebook 开发的开源深度学习框架，以其灵活性和易用性著称。PyTorch 支持动态计算图，适合研究和原型开发。Keras 是一个高层神经网络 API，能够运行在 TensorFlow、Theano 和 CNTK 之上。Keras 以其简洁和易用性受到广泛欢迎，适合快速构建和实验深度学习模型。
cifar:使用计算机视觉模型训练计算机视觉模型，并基于CIFAR-10数据集进行迁移学习
03-30
总结来说，"cifar:使用计算机视觉模型训练计算机视觉模型，并基于CIFAR-10数据集进行迁移学习"是一个关于如何利用深度学习和迁移学习技术解决计算机视觉问题的实践项目。通过CIFAR-10数据集，我们可以训练和评估模型...
tensorflow迁移学习 运用google训练好的Inception-v3模型 卷积神经网络模型快速迁移到数据集93%正确率
08-13
确保正确解压并按照文档的指示运行代码，你就可以体验到TensorFlow和Inception-v3模型的强大之处，以及迁移学习在提升分类准确率上的效果。对于初学者来说，这是一个很好的实践项目，不仅可以学习到深度学习的基本...
使用残差网络训练的手势识别分类器，利用了ResNet50做迁移学习
03-05
评估模型性能通常使用准确率、精确率、召回率和F1分数等指标。在实际应用中，可能会考虑实时性，因此模型还需要优化以满足低延迟要求。 在"signs-classificationV2-master"这个项目文件夹中，可能包含了以下内容： ...
Finetuner 0.7.1版本发布！支持在之前模型基础上继续微调，新增SphereFace损失函数！...
Jina AI 的博客
02-21 249
Finetuner是一个基于云端的神经搜索结果调优平台。Finetuner 简化了工作流程，处理了云端的复杂性和基础设施要求，使得神经网络的微调变得更容易，更快速，更高效。有了 Finetuner，你可以很容易地提高预训练模型的性能，并且无需大量标签或昂贵的硬件即可投入生产。???? GitHub: https://github.com/finetuner????‍????‍???? 全球社区: https://sla...
神奇宝贝五分类：train and test
weixin_62637793的博客
01-14 376
import torch import torchvision from torch import optim,nn import visdom from torch.utils.data import Dataset,DataLoader # 从其他函数里调用预处理和网络结构 from main import Pokemon from model import ResNet18 batch_sz=32 lr=1e-3 epochs=10 device = torch.device('cuda').
深度学习提高准确率（Accuracy）的方法
m0_66197927的博客
10-17 4079
在以上详细提出的两种提高测试集上的准确率（Accuracy）的方法中，不难看出虽然改变优化器的方法与L1、L2正则化方法比较下，改变优化器使得准确率的结果提高更加明显，但是以上提到的方法除了可以单独尝试外，也可以结合使用。在尝试这些方法时，建议记录每次实验的结果，并进行比较分析，以找到最佳的组合和设置。才能更好的提高准确率（Accuracy）。
预训练与微调
weixin_47414034的博客
05-04 1900
随机初始化模型参数，然后开始训练网络，不断调整参数使得损失函数越来越小，在这个过程中，当你觉得结满意的时候将参数保存下来。 之后，你如果需要进行一个类似的任务，就将之前保存的模型参数作为这个新任务的初始化参数，然后再进行调参，由于此时的调整只是一些微小的调整了，所以叫作微调fine-tuning（将预训练过的模型作用于自己的数据集，使参数适应自己的数据集）。 总结：也就是说，预训练就是不再对模型参数进行随机初始化，而是用预训练得到的参数进行初始化 实际上，很少有人直接从头训练一个网络，因为自己一般不可
BERT-TensorFlow版微调后模型过大解决方案
ljp1919的专栏
09-09 2787
背景 TensorFlow中加载预训练的BERT模型(base)，在下游微调后发现最终模型比原始模型大许多。 对于某些竞赛，要求提交的代码、模型和数据文件有容量限制，为此需要尽量在模型上瘦身。 分析和解决 预训练的BERT模型只有390MB,但是微调结果模型有1.2GB。这是由于训练过程中的checkpoints由于包含了每个权重变量对应的Adam momentum和variance变量，所以...
百尺竿头，更进一步——如何最后一步再提升一下模型的精度？
张帅影&RS&DeepLearning
03-01 883
今天来讲一讲，如何在模型已经取得不错的精度的情况下，进一步提升模型的性能。 一句话：从小到大，逐步变大 比如，我们在256x256图像上训练，可以多创建几个数据集，其中的图像缩放为64x64和128x128。用64x64的数据集创建你的模型，照常进行微调，然后用128x128的数据集训练同样的模型。不是从头开始，而是使用之前训练得到的参数。一旦看起来已经最大限度地对这个128x128的数据进行了训练，再转向你的目标数据，即256x256的数据。你可能会发现准确度会有一两个百分点的提升。 理论依据：用较低的分
第一个神经网络的训练
qq_45084416的博客
10-24 315
什么是迁移学习： 为了对迁移学习产生一个直观的认识，不妨拿老师与学生之间的关系做类比。 一位老师通常在ta所教授的领域有着多年丰富的经验，在这些积累的基础上，老师们能够在课堂上教授给学生们该领域最简明扼要的内容。这个过程可以看做是老手与新手之间的“信息转移”。 这个过程在神经网络中也适用。我们知道，神经网络需要用数据来训练，它从数据中获得信息，进而把它们转换成相应的权重。这些权重能够被提取出来，迁...
迁移学习概论
TensorFlowNews
09-03 1148
作者|Muktha Sai Ajay 编译|VK 来源|Towards Data Science 介绍 作为人类，我们有能力将在一项任务中获得的知识迁移到另一项任务中去，任务越简单，利用知识就越容易。一些简单的例子是： 了解数学和统计学→学习机器学习 学会骑自行车→学骑摩托车 到目前为止，大多数机器学习和深度学习算法都是针对解决特定任务而设计的。如果分布发生变化，这些算法会再次被重建，并且很难重建和重新训练，因为它需要计算能力和大量的时间。 迁移学习是关于如何使用预训练好的网络，并将其应用到我们的定
迁移学习--微调
weixin_53230015的博客
06-17 748
我们假设这些模型参数包含了源数据集上学习的到的知识，且这些知识同样适用于目标数据集。我们还假设模型的输出层与源数据集的标签紧密相关，因此在目标模型中不予采用。图像增广技术通过对训练图像做一系列的随机变换，来产生相似又不同的训练样本，从而扩大数据集的规模。（4）在目标数据集上训练目标模型。我们从头到尾训练输出层，而其余层的参数都是基于源模型的参数微调得到的。（3）为目标模型添加一个输出大小为目标数据集类别个数的输出层，并随机初始化该层模型参数。当目标数据集远小于源数据集时，微调有助于提升模型的泛化能力。
使用迁移学习进行微调
04-18
使用迁移学习进行微调是一种常用的机器学习技术，它可以利用已经训练好的模型在新的任务上进行优化和改进。下面是使用迁移学习进行微调的步骤： 1. 选择预训练模型：首先，你需要选择一个在大规模数据集上预训练好...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@@南风

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值