论文导读 | 大语言模型上的精调策略

最新推荐文章于 2025-04-02 12:30:00 发布
最新推荐文章于 2025-04-02 12:30:00 发布
阅读量1.6k 收藏 3
点赞数
文章标签： 深度学习 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48167662/article/details/130562706
版权
文章介绍了预训练语言模型在下游任务精调时面临的计算和存储成本问题，并提出差值精调策略，包括Adapter方法、PromptTuning和PrefixTuning，以及利用低秩近似方法LoRA来减少资源消耗和提升训练效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

随着预训练语言模型规模的快速增长，在下游任务上精调模型的成本也随之快速增加。这种成本主要体现在两方面上：一，计算开销。以大语言模型作为基座，精调的显存占用和时间成本都成倍增加。随着模型规模扩大到10B以上，几乎不可能在消费级显卡或者单卡上进行训练；二，存储开销。如果对于每一个下游任务，我们都需要精调全量模型并存储相应的参数，那么所需要的存储开销也是相当惊人的。以GPT-3 175B为例，为仅仅一个任务存储精调模型的全量参数就需要350/700GB（取决于精度）。因此，如何在兼顾精调的表现的同时提升效率，是一个重要的研究问题。

本篇文章将介绍差值精调策略（delta tuning）。这类方法的核心思路是，通过只训练少量参数，并冻结其他模型参数，逼近甚至达到全量参数精调的效果。具体而言，现有的主流方法可以总结为三类：添加参数方法（addition-based），限制参数方法（Specification-based）和重参数化方法（reparameterization-based）。

一、添加参数方法

1.1 Adapter方法 

Houlsby et al.[1]最早提出了adapter方法，即在语言模型的每个transformer层中添加少量可学习的参数，并冻结其余参数，如图所示。为了减少参数量，作者采用了两层FFN作为adapter的网络结构进行降维-升维。为了使得初始化结果等价于原始网络，作者采用了残差连接并零初始化adapter结构。实验表明，在多项任务上，仅使用0.5%-8%的训练参数就能逼近全量参数精调的效果，并且训练速度能提升约60%。需要注意的是，由于引入了串行的额外模块，模型的推理速度会略微下降4%-6%。

1.2 连续化提示学习

1.2.1 Prompt tuning[2]

最低0.47元/天 解锁文章
PKUMOD
关注
《深入浅出LLM基础篇》（四）：主流大模型介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-13 2268
本篇为《深入浅出LLM基础篇》系列第四篇，《深入浅出LLM基础篇》（四）：主流大模型分类介绍主流大模型分类，主要讨论各类模型结构组成、模型特点、数据规模等进行介绍，包括 ChtaGLM、LLAMA等 系列，最后对经典问题进行总结，方便大家交流学习。
NLP之GPT-3：NLP领域没有最强，只有更强的模型—GPT-3的简介(本质、核心思想、意义、特点、优缺点、数据集、实际价值，模型强弱体现，开源探讨)、安装、使用方法之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-09 2万+
​ NLP之GPT-3：NLP领域没有最强，只有更强的模型—GPT-3的简介(本质、核心思想、意义、特点、优缺点、数据集、实际价值，模型强弱体现，开源探讨)、安装、使用方法之详细攻略 目录 GPT-3的简介 GPT-3的安装 GPT-3的应用—免费体验API服务 推荐文章 NLP之GPT-3：NLP领域没有最强，只有更强的模型—GPT-3的简介(本质、核心思想、意义、特点、优缺点、数据集、实际价值，模型强弱体现，开源探讨，GPT系列对比与总结)、安装、
【AI大模型实战】模型精调实战教程和代码实例讲解
AI天才研究院
03-21 1247
在深度学习领域，模型精调是一个重要的环节。通过对预训练模型进行微调，可以使模型在特定任务上取得更好的性能。本文将介绍模型精调的基本概念、原理和方法，并以一个具体的例子来演示如何进行模型精调。模型精调作为一种重要的深度学习技术，在未来将会有更多的应用场景和发展趋势。例如，随着预训练模型的不断发展，模型精调的效果将会越来越好；随着计算能力的不断提高，模型精调的速度将会越来越快。同时，模型精调也面临着一些挑战，例如如何选择合适的预训练模型、如何调整模型的结构和参数等。这些问题需要我们在未来的研究中不断探索和解决。
浅谈大模型私有化+精调：面向垂直行业与特定场景之需
ytt0523_com的博客
05-15 1629
大模型私有化（Model Private Deployment）指的是将预训练的大型人工智能模型（如GPT、BERT等）部署到企业自己的硬件环境或私有云平台上。与公有云服务或模型即服务（Model-as-a-Service）相比，私有化部署能够给企业带来更高级别的数据安全性和自主控制能力。对数据隐私和安全要求高、需要自主控制AI模型运行环境的企业而言，或者在特定地理位置因法律法规限制不能使用公有云服务的情况下，这种需求是确实存在的。
QLoRA 精调国产大模型实战教程：Qwen / DeepSeek / Baichuan 通吃方案
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-02 681
模型LoRA微调适配Hugging Face支持推荐人群优点注意事项Qwen✅ 非常好✅ 完善所有人稳定、开源协议好几乎无坑DeepSeek✅ 良好（需 MoE配置）✅进阶用户性能强、中文好MoE结构复杂Baichuan⚠️ 一般✅（需手动 patch）熟悉HF结构者中文能力强格式多样、tokenizer易出错Yi 系列✅（需单独格式）✅高阶玩家多模态支持prompt 格式需重写目标推荐配置稳定收敛2e-5，epochs:34小显卡部署。
大模型精调：实现高效迁移学习的艺术
2401_85390073的博客
06-18 777
然而，如何将这些大模型应用于特定的任务，提高模型的性能和泛化能力，是一个具有挑战性的问题。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
Lamini：大语言模型精调框架
略懂……略懂……
05-23 2529
Lamini 致力于解决 LLM 驱动开发中最困难的挑战之一。该框架提供了一个简单且一致的编程模型来抽象跨不同 LLM 的微调过程。我们很可能会在不久的将来看到 Lamini 被纳入不同的 LLM 框架。
fcn模型精调
aisansheng9248的博客
10-07 173
http://www.cnblogs.com/JZ-Ser/p/7248316.html http://blog.csdn.net/Scythe666/article/details/77963586 转载于:https://www.cnblogs.com/zzq-123456/p/7634224.html
论文导读 | Transformer架构下面向长文本的语言模型
weixin_48167662的博客
07-12 870
自BERT出现之后，基于Transformer[1]架构的语言模型在各项NLP任务上取得了统治性的表现。原始的Transformer架构可以分为编码器和解码器两端，如图所示。在底层输入中，作者使用了位置编码（positional embedding）以注入序列的顺序信息；在每层单元中，都使用了多头注意力机制、残差连接和层归一化的组成单元。在解码时，解码器的注意力头可以同时看见解码端之前的输出和编码器的隐层表示以计算注意力权重。...
《深入浅出OCR》第三章：OCR文字检测
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
10-17 2321
上一章我们介绍到OCR流程包括两阶段算法和端到端算法，目前在通用场景识别效果下，两阶段OCR相比端到端OCR技术更成熟，所以工业界大多采用两阶段OCR。本篇为 【《深入浅出OCR》第三章：OCR文字检测】，主要对深度学习OCR文字检测方法进行介绍，本人将从经典算法结构、代码、论文解读等角度展开，配合作者总结的思维导图，深入浅出OCR知识。
2024年6月7日Arxiv大语言模型相关论文
数智笔记
06-07 4143
原标题作者机构: 加州大学戴维斯分校 南佛罗里达大学摘要: 大语言模型（LLMs）已经在零样本生成给定文章的抽象摘要方面取得了最先进的性能。然而，对于零样本摘要生成过程的稳健性了解甚少。为了弥补这一差距，我们提出了相关性改写，这是一种简单的策略，可用于衡量LLMs作为摘要生成器的稳健性。相关性改写方法确定了对生成理想摘要有贡献的最相关句子，然后改写这些输入以获得一个最小扰动的数据集。然后，通过评估模型在原始数据集和扰动数据集上的摘要性能，我们可以评估LLM的稳健性的一个方面。
大语言模型（LLMs）经典论文清单！
2401_84206094的博客
09-18 1968
要说2023刷屏最多的词条，ChatGPT可以说是无出其右。到最近的GPT-4，技术的革新俨然已呈现破圈之势，从学术圈到工业界再到资本圈，同时也真切逐步影响到普通人的日常生活与工作。坦白来讲，对于大语言模型生成相关的工作，个人长期以来持保守态度，认为这个方向更多的是一种深度学习的理想追求。现在看小丑竟是我自己，也许优秀的工作正是需要对理想状态的持续追求，才叫优秀的工作。
【NLP】基于大语言模型的论文分析
m0_69310669的博客
07-26 969
利用大语言模型（LLMs）可以帮助我们筛选行业论文，分析行业热点，总结论文内容，从而帮助科研人员更好地把握论文核心思想。试完成以下任务：子任务 1：通过网络爬取的方式收集CVPR 2024 论文（不少于 500 篇），并通过pdf解析的方式提取出论文abstract，找到其中所有能应用在智能驾驶领域相关论文，进行子领域分类，并统计每个子领域的论文数量。（子领域分类通过调用大语言模型完成，具体子领域名称不做限制，分类依据言之有理即可，子领域数量限制在 6 个以内。调用的大语言模型不限，推荐使用。
大模型私有化+精调：面向垂直行业与特定场景之需
m0_59163425的博客
04-09 8120
大模型私有化（Model Private Deployment）指的是将预训练的大型人工智能模型（如GPT、BERT等）部署到企业自己的硬件环境或私有云平台上。与公有云服务或模型即服务（Model-as-a-Service）相比，私有化部署能够给企业带来更高级别的数据安全性和自主控制能力。对数据隐私和安全要求高、需要自主控制AI模型运行环境的企业而言，或者在特定地理位置因法律法规限制不能使用公有云服务的情况下，这种需求是确实存在的。
AI 大模型 Fine-Tuning 精调训练（微调）图文代码实战详解
AI天才研究院
03-16 2227
选择预训练模型：选择一个在类似任务上已经训练好的模型作为起点。数据准备：准备并预处理你的数据集，使其适合模型的输入格式。微调：在你的特定数据集上继续训练模型，调整模型的权重。评估：评估微调后模型的性能。应用：将微调后的模型部署到实际应用中。Fine-Tuning（精调）是指在预训练模型的基础上，对模型进行微调，使其适应特定任务。预训练模型通常在大量无标签数据上进行训练，以学习通用的语言表示。通过 Fine-Tuning，我们可以在较小的标签数据集上训练模型，以便模型能够更好地解决特定任务。
2024年5月7日大语言模型最新论文中文摘要
数智笔记
05-08 3471
在这里，我们将使用 LangGraph、Groq-Llama-3 和 Chroma 构建可靠的 RAG 代理。我们将结合以下概念来构建 RAG 代理。自适应 RAG (论文。我们已经实现了本文中描述的概念，构建了一个路由器，用于将问题路由到不同的检索方法。校正 RAG (论文。我们已经实现了本文中描述的概念，开发了一个回退机制，用于在检索到的上下文与所问问题不相关时继续进行。自身 RAG (论文。我们已经实现了本文中描述的概念，开发了一个幻觉评分器，即修正那些产生幻觉或未回答所问问题的答案。
大语言模型举例和相关论文推荐
技术的积累，其实就是财富的积累呀。
07-15 2113
"GPT-2: Language Models are Unsupervised Multitask Learners" by Radford et al. (2019): 这篇论文是对GPT的改进，提出了GPT-2模型，具有更大的模型规模和更好的生成能力。随机性控制：为了增加模型的多样性和鲁棒性，大语言模型的训练通常会引入一定的随机性。这些论文代表了大型语言模型训练领域的重要里程碑，它们对于模型架构、预训练任务、优化算法等方面的创新和改进，对于推动大型语言模型的发展具有重要作用。
BERT原理、代码、相关模型、精调技巧，看这个就够了
Paper weekly
10-09 855
2018 年 10 月，由 Google 推出的 BERT 模型一鸣惊人，刷爆了各路榜单，甚至超越了人类基线分数，实现了 NLP 领域里程碑式的突破。如今，对于 NLP 算法工程师来说...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值