深度学习笔记：finetune和linear probing的区别

最新推荐文章于 2023-12-16 21:23:57 发布
最新推荐文章于 2023-12-16 21:23:57 发布
阅读量3.7k 收藏 14
点赞数 5
文章标签： 深度学习 笔记 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48018951/article/details/130261908
版权

背景

finetune和linear probing一般和预训练搭配出现，是预训练模型适配下游任务时可选的训练方式

finetune 微调

finetune是使用预训练模型适配下游任务时，对整个预训练模型全部进行参数更新

微调也可以选择不进行全部更新，只对后面一部分模型进行更新，因为模型前几层一般提取的都是比较公共的特征，保留的底层信息较多，可以不用进行微调

linear probing 线性探测

linear probing 是在适配下游任务时，冻住预训练模型，对其参数不进行更新，只对模型最后一层的线性层进行参数更新

线性探测一般用于检验预训练模型的好坏

一般情况下，线性探测的结果会差于微调

zzz_979
关注
  • 5
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
tensorflow-cnn-finetune:使用TensorFlow对AlexNet，VGGNet和ResNet进行微调
04-30
张量流-cnn-finetune 这个仓库是关于使用TensorFlow对一些著名的卷积神经网络进行微调的。 ConvNets： 要求： Python 2.7或3.x Tensorflow 1.x（已通过1.15.1测试） OpenCV2（用于数据扩充）数据集文件您需要设置两...
微调（linear probing和 full finetune）技巧
zjs975584714的博客
10-27 1944
Linear probing 和 full finetune 两种微调过程的区别
Masked Autoencoder论文中 fine-tuning 和 linear probing含义
ding_programmer的博客
10-17 2845
Masked Autoencoder论文中 fine-tuning 和 linear probing含义
开放定址法——线性探测(Linear Probing)
weixin_30417487的博客
08-04 2609
之前我们所采用的那种方法，也被称之为封闭定址法。每个桶单元里存的都是那些与这个桶地址比如K相冲突的词条。也就是说每个词条应该属于哪个桶所对应的列表，都是在事先已经注定的。经过一个确定的哈希函数，这些绿色方块只会掉到K这个桶里，它不可能被散列到其他的桶单元。 与此同时，分离链接散列算法还有一个亟待解决的缺点：需要指针，由于给新单元分配地址需要时间，这就导致了速度减慢，所以不太好。还有...
CVPR 2023 | iTPNs: 谁说 Linear probing 不适用 MIM 任务？
专注计算机视觉全栈知识分享
03-05 329
Title: Integrally Pre-Trained Transformer Pyramid Networks Paper: https://arxiv.org/pdf/2211.12735.pdf Code: https://github.com/sunsmarterjie/iTPN 导读 自 ViT 提出以后，Transformer 在计算机视觉领域逐渐衍生出两个重要分支，一个分支是以 Vision Transformer 为代表的给为 Transformer 主干网络，而另一个分支便是以
【Linear Probing | 线性探测】深度学习 线性层
热门推荐
欢迎来到我的博客～
07-18 1万+
深度学习linear probing
Linear probing accuracy（线性探测精度）是什么？评价表征学习的质量的方式
最新发布
简单记录生活、学习
12-16 889
Linear probing accuracy 的关键在于它提供了一个简单而直接的方式来评估模型学习到的特征的质量。如果一个自监督学习模型能够学习到有用的、丰富的特征表示，那么即使是一个简单的线性分类器也能在这些特征上取得良好的分类性能。在这种方法中，使用一个简单的线性分类器（通常是一个线性层或者一个全连接层）来测试模型学习到的特征的质量。：然后，在提取的特征上训练一个简单的线性分类器。：最后，评估这个线性分类器在一个标记的测试集上的性能，通常是准确率（accuracy）。
重读经典（CLIP下）：《Learning Transferable Visual Models From Natural Language Supervision》
10点43的博客
10-04 781
这里使用OpenAI提供的notebook演示CLIP。安装CLIP导入需要的库，PyTorch['RN50','RN101','RN50x4',''''''{'''.sum([int('''.'''('''.'''))'''for'''in'''.'''()]):,}'''下面是图片预处理，即preprocess然后是文本预处理，得到77个tokens") ''''''{}{[]}{[,]:.2f}下面进行zero-shot分类，这里使用CIFAR100{}
震惊！三个万引大佬嘴仗，原来是为了他……？
夕小瑶科技说
02-10 481
文｜白鹡鸰想把小轶挂到三作编｜小轶已把白鹡鸰挂到三作这本应是白鹡鸰在小轶追杀下游刃有余拖稿的一天，结果小轶再次把一篇新论文喂到了我的嘴边。象征性地打开论文，草草扫过去，嗯，迁移学习，嗯，新...
finetune:NLP的Scikit学习风格模型微调
04-29
NLP的Scikit学习风格模型微调 Finetune是一个库，允许用户利用最新的经过预训练的NLP模型来执行各种下游任务。 Finetune当前支持以下模型的TensorFlow实现： BERT ，摘自 RoBERTa ，摘自 GPT ，摘自 GPT2 ，...
LinearProbingHash:使用哈希表的线性探测实现
06-18
线性探测哈希 使用哈希表的线性探测实现
深度学习领域足球比赛视频目标检测（带数据集）-yolov8-finetune-with-soccernet
06-17
深度学习领域足球比赛视频目标检测（带数据集）--yolov8-finetune-with-soccernet 语言：python 内容包括：源码、数据集、数据集描述、论文 目的：使用yolo算法在足球比赛中目标检测。 带数据集很好运行，主页有搭建...
rasa-bert-finetune:支持rasa-nlu的bert finetune
03-17
介绍支持rasa json数据格式的bert finetune准备在训练finetune模型前需要先下载bert pre-train model，这里用的是中文的，可去官网下载chinese_L-12_H-768_A-12 。 json文件称为rasa_dataset_training.json ，dev的...
python PyTorch参数初始化和Finetune
12-25
这篇文章算是论坛PyTorch Forums关于参数初始化和finetune的总结，也是我在写代码中用的算是“最佳实践”吧。最后希望大家没事多逛逛论坛，有很多高质量的回答。 参数初始化 参数的初始化其实就是对参数赋值。而我们...
数据结构40：冲突解决方案
xddwz的博客
10-22 4865
目录 一、冲突解决方案 二、线性探测Linear Probing 三、线性探测的改进 四、冲突解决方案：再散列rehasing 五、冲突解决方案：数据项链Chaining 一、冲突解决方案 如果两个数据项被散列映射到同一个槽，需要一个系统化的方法在散列表中保存第二个数据项，这个过程称为“解决冲突”。 前面提到，如果说散列函数是完美的，那就不会有散列冲突，但完美散列函数通常是不现实的。解决散列冲突称为散列方法中很重要的一部分。 解决散列的一种方法就是为冲突的数据项再找一个开放的空槽来保.
第三章--线性探测法散列表
a219219219219的博客
07-29 902
public class LinearProbingHashST<Key,Value>{ /** * 利用两个数组来存储key和value，当发生冲突时，不需要链表来解决，而是往后面的索引中寻找空的位置。 */ //键值对数量 private int N; //散列表长度 private int M=16; private Key[] keys; private Value[] valuse; public.
linear probing java_java和数据结构的面试考点
weixin_35625739的博客
02-19 172
目标：不要有主要的逻辑错误、2遍以内bug free、注意代码风格 不要让面试官觉得不懂规矩Java vs C++Abstract class vs interfacepass by reference vs pass by valueFinal/Finally/Finalizestatic函数参数或者函数中的局部变量和成员变量同名的情况下，成员变量被屏蔽，此时要访问成员变量则需要用“this.成...
linear probing java_数据结构与问题求解——Java语言描述(英文版第3版)
weixin_29928971的博客
02-26 237
part one Algorithms and Building Blockschapter 1 algorithm analysis 31.1 what is algorithm analysis? 41.2 examples of algorithm running times 71.3 the maximum co...
什么是fine tune,并帮我找些学习资料
03-22
Fine tune 是指在已经训练好的模型基础上，通过在特定数据集上进行微调，以适应特定任务或领域的需求。学习资料可以参考以下链接： 1. https://huggingface.co/transformers/training.html#fine-tuning 2. https://towardsdatascience.com/fine-tuning-a-bert-model-with-hugging-face-transformers-dc38a8fb8e8f 3. https://www.analyticsvidhya.com/blog/2020/07/transfer-learning-for-nlp-fine-tuning-bert-for-text-classification/

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值