大语言模型之十七-QA-LoRA

已于 2023-10-13 08:54:26 修改
阅读量3.1k 收藏 2
点赞数 1
分类专栏： 神经网络&人工智能 文章标签： 语言模型 人工智能 自然语言处理
于 2023-10-12 23:45:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shichaog/article/details/133800761
版权
本文探讨了如何利用开源基座模型进行特定场景的fine-tune，重点介绍了PEFT（参数高效微调）和量化技术，如QLoRA（量化和低秩适配器）来减少大模型的训练和推理资源消耗。同时提到了GPTQ和GGUF等量化方法，以及它们在减少精度损失方面的研究进展。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

由于基座模型通常需要海量的数据和算力内存，这一巨大的成本往往只有巨头公司会投入，所以一些优秀的大语言模型要么是大公司开源的，要么是背后有大公司身影公司开源的，如何从优秀的开源基座模型针对特定场景fine-tune模型具有广大的前景，从数据开源、到基座模型到新方法的迭代升级使得个人都有机会践行fine-tune这一过程。

为了使得基座模型能够迁移到不同的任务应用场景中，Fine-tune是最为使用的方法之一，为了减少fine-tune阶段需要的算力内存开销，当前主要有PEFT（parameter-efficient fine-tuning）和参数量化两类方向，PEFT（parameter-efficient fine-tuning）核心思想是重新训练对新任务影响较大的少部分参数，而基座模型大部分参数保持不变，量化的核心思想是通过模型参数位宽（量化）的减少降低内存消耗，将二者结合使用能够进一步减少资源消耗，如何高效的使用量化、PEFT等技术在减少算力的需求的前提下减少准确性损失是当前主流研究方向。

本篇博客讨论当前高效训练和推理LLM的PEFT和量化相关技术，PEFT技术仅介绍使用较广的LoRA。

量化的目的是提高芯片计算吞吐量和减少内存占用，当前8-bit和4-bit量化已经在商业上可以在消费级硬件上运行模型，量化（GPTQ、GGUF）+开源LLama+PEFT（

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大语言模型之四-LlaMA-2从模型到应用
shichaog的专栏
08-19 5392
最近开源大语言模型LlaMA-2火出圈，从huggingface的开源大语言模型排行榜可以看到LlaMA-2还是非常有潜力的开源商用大语言模型之一，相比InstructGPT，LlaMA-2在数据质量、培训技术、能力评估、安全评估和责任发布方面进行了大量的技术更新，此外在商业许可、huggingface等社区支持等方面也做的比较好，本篇文章以7B模型为例介绍LlaMA-2的推理、训练以及应用。相对来说LlaMA-2模型结构比Transformer简单一些，关于Transformer可以参见博客《
QA-LORA: QUANTIZATION-AWARE LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
c_cpp_csharp的专栏
10-09 704
近年来，大型语言模型(llm)得到了迅速的发展。尽管llm在许多语言理解任务中具有很强的能力，但沉重的计算负担在很大程度上限制了llm的应用，特别是当需要将它们部署到边缘设备上时。本文提出了一种量化感知的低秩自适应(QA-LoRA)算法。其原因在于量化自由度与自适应自由度不平衡，解决方法是采用群算子，提高量化自由度，降低自适应自由度。QA-LoRA很容易用几行代码实现，它为原始LoRA提供了双重能力:(i)在微调期间，LLM的权重被量化(例如，进入INT4)，以减少时间和内存使用;
LoRA综述来了! 浙大《大语言模型的LoRA研究》综述
lqfarmer的博客
07-19 1469
LoRA在参数上非常高效，因为它仅更新模型参数的一小部分，从而在不增加推理延迟的情况下减少了微调所需的内存和计算要求[187]。在本节中，我们首先介绍LoRA的细节，然后介绍现有的聚焦于LoRA理论分析的工作。在内部参数方法中，LoRA是使用最广泛的方法，因为它在多个下游任务上可以实现与全量微调相当或更好的下游适应性能[9]，且易于实施。总之，LoRA在生成即服务、持续预训练和自主代理等领域展现出巨大的潜力，未来的研究将进一步挖掘和扩展LoRA的应用，使其在越来越多的实际场景中发挥重要作用。
【大模型】Lora
Dong_ZH的博客
03-11 2721
Low-Rank Adaptation（低秩适应）是一种针对大型语言模型（如GPT-3等）在下游任务上进行的参数效率优化技术。这种方法的核心思想是，在模型适应下游任务的过程中，不是更新全部的模型参数，而是仅更新一部分参数，以此来减少需要训练的参数量，提高训练效率，并减少内存消耗。具体而言，低秩适应通过矩阵分解的技术，将大型语言模型中的权重矩阵分解为两个更小的矩阵的乘积，这两个小矩阵是可训练的。在训练过程中，只训练这两个小矩阵，而固定住原始预训练模型的权重。
GGUF简介
最新发布
奔跑的蜗牛的博客
01-31 1074
GGUF 格式的全名为（GPT-Generated Unified Format），提到 GGUF 就不得不提到它的前身 GGML（GPT-Generated Model Language）。GGML 是专门为了机器学习设计的张量库，最早可 以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并 且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发 中，遇到了灵活性不足、相容性及难以维护的问题。
组会 | 大语言模型 + LoRA
狂放不羁霸的博客
11-22 1378
1 大语言模型概述 1.1 模型的架构 1.2 模型的细节：标记化和嵌入化 1.3 模型的核心 2 多头注意力机制 3 LoRA 概述 3.1 冻结部分模型参数 3.2 低秩适配（LoRA） 3.2.1 核心工作原理：冻结模型参数 3.2.2 核心工作原理：添加低秩权重矩阵
【微调实践】大语言模型LoRA微调细节全解析
2401_84495872的博客
12-30 6633
在本文中，我们探讨了 LoRA 微调方法，并以 StarCoder 模型的微调为例介绍了实践过程。通过实践过程的经验来为大家展示一些细节及需要注意的点，希望大家也能通过这种低资源高效微调方法微调出符合自己需求的模型。​。
大语言模型微调实践——LoRA 微调细节
LF_AI的博客
08-21 5561
1. 引言近年来人工智能领域不断进步，大语言模型的崛起引领了自然语言处理的革命。这些参数量巨大的预训练模型，凭借其在大规模数据上学习到的丰富语言表示，为我们带来了前所未有的文本理解和生成能力。然而，要使这些通用模型在特定任务上发挥出色，还需借助微调技术。大语言模型的微调技术已经成为自然语言处理领域的一个焦点，其不断的演化和创新正引领着我们进入一个更加精细、个性化的文本处理时代。在本文中，我们将选取...
万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南
2401_85377976的博客
09-05 1267
BitFit对微调机制的一种积极探索，也很简单，通过仅调整 bias 效果就能有不错的效果，但没有具体阐述原理，就是通过猜测加实验得到的结果。同时，作者提出一个观点：微调的过程不是让模型适应另外的数据分布，而是让模型更好的应用出本身的表征能力。特点：训练参数量极小（约 0.1%）。在大部分任务上效果会差于 LoRA、Adapter 等方法。在每一个 Transformer 层都带上一些 virtual token 作为前缀，以适应不同的任务。
大预言模型LoRA综述
GuiBin1的博客
09-23 1655
低秩自适应（LoRA）是一种利用可插拔的低秩矩阵更新密集神经网络的方法，是参数效率最高的微调方法之一。此外，它在跨任务和隐私保护方面也有着显著的优势。因此，LoRA近来备受关注，相关文献数量成指数级增长。下游适应改进变量，可提高LoRA在下游任务中的性能；跨任务泛化方法，混合多个LoRA插件以实现跨任务泛化；效率改进方法，提高LoRA计算效率的方法；在联合学习中使用LoRA的数据隐私保护方法；应用。此外，这篇论文还讨论了这个领域的未来发展方向。
大型语言模型 (LoRA) 的低秩适应 Low Rank Adapdation
AI生成式技术曾小健
06-05 776
当您将 LoRA 权重与冻结的预训练模型权重合并时，您可以选择调整多少权重与参数合并。当您将 LoRA 权重与冻结的预训练模型权重合并时，您可以选择调整多少权重与参数合并。如果您想存储您的模型或与社区分享您的模型，请登录您的 Hugging Face 帐户（如果您还没有，请创建。的 LoRA 微调，能力有限。与不使用您的 LoRA 权重相同，您仅使用基本模型权重，而值。与不使用您的 LoRA 权重相同，您仅使用基本模型权重，而值。# 使用 LoRA 微调模型的一半权重和基础模型的一半权重。
LORA：大型语言模型的低阶适应
weixin_44909476的博客
05-30 422
LORA：大型语言模型的低阶适应
华为提出QA-LoRA：让微调大型语言模型‘轻装上阵’
zenRRan的博客
10-07 1265
深度学习自然语言处理 原创作者：Winnie近些年，大型语言模型（LLMs）表现出了强大的语言理解能力。但是，想要将这些模型应用到不同的场景，并部署到边缘设备（例如手机）上，我们还面临一个重要的问题：这些模型通常参数众多，计算负担重，如何在不损失性能的情况下让它们变得“轻量”并适应不同需求呢？今天为大家介绍一篇来自华为的最新研究——QA-LoRA技术，为微调LLMs带来了一个轻量又高效的新选择。进...
QA-Lora 开源项目教程
gitblog_01143的博客
08-24 766
QA-Lora 开源项目教程 qa-loraOfficial PyTorch implementation of QA-LoRA项目地址:https://gitcode.com/gh_mirrors/qa/qa-lora 项目介绍 QA-Lora 是由用户 yuhuixu1993 在 GitHub 上维护的一个开源项目。尽管该项目的具体功能描述在提供的链接中未详细说明，通常从仓库命名猜测，该项目...
QA-LoRA 项目使用教程
gitblog_01069的博客
08-25 340
QA-LoRA 项目使用教程 qa-loraOfficial PyTorch implementation of QA-LoRA项目地址:https://gitcode.com/gh_mirrors/qa/qa-lora 1. 项目的目录结构及介绍 qa-lora/ ├── LICENSE ├── README.md ├── environment.yaml ├── merge.py ├── p...
LORA详解（史上最全）
热门推荐
吉米_王
04-24 8万+
LoRA 模型是一种Stable Diffusion模型的小型模型，通过对标准检查点模型进行微小更改来实现。它们的大小通常比检查点模型小 10 到 100 倍，这使得它们对于拥有大量模型的人非常有吸引力。LoRA（Low-Rank Adaptation）是一种用于微调Stable Diffusion模型的训练技术。但我们已经有了其他的训练技术，例如 Dreambooth 和 文本反转。那么 LoRA 有何特别之处呢？LoRA 在文件大小和训练能力之间取得了良好的平衡。
GGUF类型模型文件
weixin_38650077的博客
04-13 5712
GGUF 模型是一种二进制模型文件格式，专为在CPU上快速加载和保存模型而设计。它是 GGML、GGMF 和 GGJT 的后继文件格式，通过包含加载模型所需的所有信息来确保明确性，并且可以在不破坏兼容性的情况下扩展新信息。GGUF 的特点包括：更高效的使用：GGUF 格式采用多种技术来保存模型，包括紧凑的二进制编码格式、优化的数据结构和内存映射，从而使模型在加载和使用时更快速，资源消耗更低。
大模型GGUF文件是啥？
qq_42755230的博客
10-18 2446
GGUF文件说明
GGML 或GGUF的14种不同量化模式说明
znsoft的专栏
12-12 2万+
对应于不同类型的量化。它们遵循特定的命名约定：“q”+ 用于存储权重的位数（精度）+ 特定变体。，因为它保留了模型的大部分性能。或者，如果要节省一些内存，可以使用 Q4_K_M。一般来说，K_M版本比K_S版本更好。我不推荐 Q2 或 Q3 版本，因为它们会大大降低模型性能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shichaog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值