什么是 fine-turning？

最新推荐文章于 2023-07-09 18:55:35 发布
最新推荐文章于 2023-07-09 18:55:35 发布
阅读量3.7k 收藏 5
点赞数 4
分类专栏： 深度学习 文章标签： fine-turning fine turning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28827635/article/details/101110318
版权

fine-tuning就是使用已用于其他目标、预训练好模型的权重或者部分权重，作为初始值开始训练。

那为什么我们不用随机选取选几个数作为权重初始值？原因很简单，第一，自己从头训练卷积神经网络容易出现问题；第二，fine-tuning能很快收敛到一个较理想的状态，省时又省心。

那fine-tuning的具体做法是？
　　• 复用相同层的权重，新定义层取随机权重初始值
　　• 调大新定义层的的学习率，调小复用层学习率

泡泡码客
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
深度学习fine-tuning
RTM的博客
12-25 874
这篇博客是关于模型的微调的点击打开链接
大模型应用：一文搞懂Fine-tuning，模型微调有啥好处，从理论到实操
最新发布
zhishi0000的博客
07-03 1031
我们前面几篇博文中出现的大模型，都是通用的大模型。但在更专业的领域，需要更专业的模型，这就需要用到模型微调的能力。从NLP范式发展的趋势来看，prompt+模型的方式已经成为主流，已经很成熟了，在进行模型微调之前最好确信自己需要这样做。
动手学深度学习（二十七）——微调（fine turning）
Liu Feng's Blog
08-31 2万+
文章目录一、微调（fine tuning）1. 微调的四个步骤：2. 微调的训练过程3. 常用的微调技术4. 总结二、动手实现和测试微调1. 数据准备2. 模型微调3. 对比不使用微调和不同的微调参数4. 冻结层进行微调 一、微调（fine tuning） 1. 微调的四个步骤： 在源数据集（如ImageNet数据集）上预训练一个神经网络模型，即源模型。 创建一个新的神经网络模型，即目标模型。它复制了源模型上除了输出层外的所有模型设计及其参数。我们假设这些模型参数包含了源数据集上学习到的知识，且这些知识同
Fine-turning（Tensorflow-Slim和Keras的迁移学习）
nakaizura
03-07 3711
迁移学习是什么？ 即：举一反三。即将已经训练好的模型稍加调整（fine-turning）即可应用于一个新的领域或者任务。 迁移学习为什么重要？ 机器学习的默认假设，训练样本和测试样本满足独立同分布的前提是训练样本足够。 数据的稀缺性。如在想要做医学领域的图像处理，所能得到的样本是极端的不平衡，重要的样本太少，无法训练出一个效果好的网络。 标记的困难性。大数据时代动辄亿万数据，标记起来太费时费力。...
通俗解释Fine-turning机制
dcxhun3的博客
06-27 8686
工业级的人脸识别算法已经流水线化，一般而言，流程如下: 1. 采集海量的人脸图像，例如WebFace数据集（包含10,575人，近50万张图像)，训练初始的general人脸识别模型。可以完全随机初始化，也可以从imagenet上fine-tune, 以WebFace数据集为训练集，在LFW上测试，在imagenet上finetune的模型在实际中可观测到0.5%的性能提升。严格说，这并不具备统
cs231n-(9)迁移学习和Fine-tune网络
KangRoger的专栏
02-18 6997
介绍适合fine-tune的场景，以及方法。
迁移学习【二】：神经网络之微调(fine-turning)
QAQIknow的博客
04-06 5626
迁移学习——>神经网络微调
openai/chatgpt微调/fine-tuning/测试用/投喂资源
03-06
整理了chatgpt微调所需要的测试资源数据，按照fine-tuning的格式生成的数据集。可以直接 fine_tunes.create -t 使用。 微调完毕后可以 -p 回答结果。 其中包含三四百条数据。 适合测试openai自定义模型的人群使用。
Real-time Operating Systems Book 2 – The Practice
09-11
There’s something really satisfying about turning theory into practice, bringing with it a great feeling of accomplishment. Moreover it usually deepens and solidifies your understanding of the ...
训练自己的GPT得过程
04-18
而 Alpaca-LoRA 则在此基础上，让我们能够以一块消费级显卡，在几小时内完成 7B 模型的 fine-turning。 为什么要训练自己的 ChatGPT ？ 我想到了以下的方面： • 对我个人而言，这非常非常 cooooool ! • 让模型能够...
擎泰 SK6201 量产修复工具 [免费版]
12-11
擎泰sk6201量产工具早期的版本2006/01/... The ability of fine-turning S/N, VID, PID, LED timing, Prod. Name and Max current….  Log file report 压缩包内的SK6201 PDT manual.doc文档为量产工具使用说明。
2020_2021学年新教材高中英语Unit2Onwardsandupwards二Usinglanguage课时作业含解析外研版选择性必修第一册202101252126
08-07
I suggest going for a picnic if it is fine tomorrow. - 我记得离家时锁了门，但是我忘记告诉你这件事了。I remember locking the door when I left the house, but I forgot to tell you about it. - 这只小鸟...
fine-tuning（微调）的理解
热门推荐
qq_45652492的博客
03-09 2万+
介绍 fine-tuning的过程就是用训练好的参数（从已训练好的模型中获得）初始化自己的网络，然后用自己的数据接着训练，参数的调整方法与from scratch训练过程一样（梯度下降）。对于初始化过程，我们可以称自己的网络为目标网络，训练好的模型对应网络为源网络，要求目标网络待初始化的层要与源网络的层相同（层的名字、类型以及层的设置参数等等均相同）。 fine-tuning已经成为了使用DL网络的一个常用技巧（trick）。使用深度网络做图像处理任务时，使用一个在大的数据集上预训练好的模型在自己数据上微调
大语言模型：Fine-tuning方法分类【①Freeze(参数冻结)、②P-Tuning(自动化Prompt)、③Lora方法(额外插入少量训练参数)、④Fulltuning(全部更新，低效但高)】
u013250861的博客
05-10 641
ChatGPT与Knowledge Graph (知识图谱)分享交流_哔哩哔哩_bilibili
Prompt Tuning 相比于 Fine Tuning 在哪些场景下表现更好？
zenRRan的博客
01-31 1736
作者：杰瑞和他的猫 (已获作者授权)链接：https://zhuanlan.zhihu.com/p/595178668排版：深度学习自然语言处理 公众号近年来 NLP 学术领域发展真是突飞猛进，刚火完对比学习(contrastive learning)，又有更火的提示学习 prompt learning。众所周知，数据标注数据很大程度上决定了AI算法上限，并且成本非常高，无论是对比学习还是提示学习...
LLM大模型低资源微调p-tuning v2和LoRA区别
weixin_40920183的博客
07-09 2231
作者：归来仍是少年@知乎一、前言自从chatgpt的爆火，也同时引发了国内大模型的热潮，像百度出了文心一言、阿里出了通义千问等，但是这些大模型并未开源，国内外开源的中等规模的模型有meta的LLaMA，斯坦福基于LLaMA微调的Alpaca，国内的chatglm，这种能够让一般的公司来做微调。现在国内一般微调比较多的模型应该是chatglm，chatglm刚出来的时候少资源情况下只能微调几层，微调...
训练过程--fineturn微调
wydbyxr的博客
12-05 3646
何时微调模型   一般来说，如果我们的数据集在上下文中与预训练模型的训练数据集没有明显不同，我们应该进行微调。像 ImageNet 这样大而多样的数据集上的预训练网络，在网络前几层可以捕获到像曲线和边缘这类通用特征，这些特征对于大多数分类问题都是相关且有用的。   当然，如果我们的数据集代表一些非常具体的领域，例如医学图像或中文手写字符，并且找不到这个领域的预训练网络，那么我们应该考虑从头开始训练...
EC20 GPS RMC格式数据转化
freedompoi的博客
12-04 5191
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 在调试EC20 4G模块的定位功能时，对输出的RMC格式的坐标信息产生了疑惑。带着疑问，在网上查找了资料，总算是解开了心中的疑问。 一、RMC是什么？ 从百度百科上获知，RMC全称推荐定位信息(GPRMC)。 基本的格式如下： $GPRMC,<1>,<2>,<3&gt...
AI 智能写作与智能写诗
醒途
01-03 7133
源：你身边的写作助手：智能写作全景介绍 - 飞桨PaddlePaddle的文章 - 知乎 智能写作 一、自动写作 ​ 自动写作通常以海量素材为基础，按照应用需求线索（例如事件、人物等）筛选合适的内容，并基于对内容的分析抽取关注的信息，最后按照写作逻辑组织为篇章结果。 二、辅助写作 ​ 写什么？如何写？如何写好？推给合适的用户？ 自动纠错 ​ 人工智能模型通过学习大量已知的错误拼写、搭配等语...
讲讲自然语言模型 RLHF GIM fineturning 之间的异同
04-01
自然语言模型、RLHF、GIM和finetuning都是深度学习中用于处理自然语言处理问题的技术。它们之间有许多相似之处，但也存在一些不同之处。 自然语言模型是一种用于预测自然语言文本中下一个单词或字符的概率的技术。它通常使用递归神经网络或卷积神经网络来训练模型，使其能够根据前面的单词或字符预测下一个单词或字符。自然语言模型常用于自然语言生成、机器翻译和语音识别等任务。 RLHF（Robustly Labeled Heterogeneous Flow）是一种用于处理自然语言文本分类的技术。它使用卷积神经网络和循环神经网络来处理文本，并通过集成多个分类器来提高鲁棒性。RLHF通常用于文本情感分析、文本分类和垃圾邮件过滤等任务。 GIM（Generative-Inference Matching）是一种用于生成式和推理式自然语言处理任务的技术。它使用一个生成模型和一个推理模型来处理文本，并通过匹配两个模型的输出来提高性能。GIM通常用于问答系统、对话系统和自然语言推理等任务。 finetuning是一种用于在预训练模型上微调特定任务的技术。它通常使用预训练的自然语言处理模型（如BERT、GPT等）来处理文本，并在特定任务上微调模型参数。finetuning通常用于文本分类、命名实体识别和情感分析等任务。 总的来说，这些技术都是用于处理自然语言处理问题的技术，但它们的具体应用和实现方式有所不同。自然语言模型和RLHF主要用于文本分类和生成，而GIM则更多地用于问答和推理，而finetuning则是一种通用的技术，可用于各种自然语言处理任务。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

泡泡码客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值