逻辑推理之lora微调

最新推荐文章于 2024-08-25 17:00:00 发布
最新推荐文章于 2024-08-25 17:00:00 发布
阅读量816 收藏 13
点赞数 19
分类专栏： 机器学习西瓜书 深度学习 文章标签： python 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_62904883/article/details/140899702
版权

逻辑推理微调

比赛介绍

本比赛旨在测试参与者的逻辑推理和问题解决能力。参与者将面对一系列复杂的逻辑谜题，涵盖多个领域的推理挑战。
比赛的连接:第二届世界科学智能大赛逻辑推理赛道：复杂推理能力评估
在这里插入图片描述

准备内容

选择相应的GPU环境以及对应的镜像,这里使用到的是魔搭社区的内容
在这里插入图片描述

lora微调

lora微调介绍

LoRA（Low-Rank Adaptation）微调是一种高效的模型微调技术，特别适用于大型预训练语言模型的适应性调整。LoRA的核心思想是通过引入低秩矩阵来调整模型的权重，从而在不显著增加模型参数数量的情况下，实现对模型的微调。

lora优势

  • 可以针对不同的下游任务构建小型 LoRA 模块，从而在共享预训练模型参数基础上有效地切换下游任务。
  • LoRA 使用自适应优化器（Adaptive Optimizer），不需要计算梯度或维护大多数参数的优化器状态，训练更有效、硬件门槛更低。
  • LoRA 使用简单的线性设计，在部署时将可训练矩阵与冻结权重合并，不存在推理延迟。
  • LoRA 与其他方法正交，可以组合。

代码内容

在这里插入图片描述
复制内容:

git clone https://www.modelscope.cn/datasets/Datawhale/DW2024_Complex_reasoning_ability_assessment_qwen2-7b-lora.git

之后就会看到有一个文件夹,点击进去,选择 lora.ipynb
运行前两个代码
在这里插入图片描述
然后逐个运行下面的代码

start_vllm

相关介绍

vLLM（Virtual Large Language Model）是一个由伯克利大学LMSYS组织开源的大规模语言模型高速推理框架。它的设计目标是在实时应用场景中大幅提升语言模型服务的吞吐量和内存使用效率。vLLM的特点包括易于使用、与Hugging Face等流行工具无缝集成以及高效的性能。

调用

调用这个vllm的服务
选择start_vllm.ipynb
在这里插入图片描述

运行主函数

运行主函数 baseline2_main.ipynb
然后要注意的是要上传相应的test的文件
在这里插入图片描述

提交结果

将生成的文件upload.jsonl提交到官网,得到相应的分数
在这里插入图片描述

总结

主要就是根据datawhale所给到的相应学习资料进行一个运行操作,了解了这个模型调整的内容,对自己来说有很多还有学习的地方

相应连接

文章当中的内容都是由datawhale所给出

https://tianchi.aliyun.com/notebook/757650

Datawhale AI夏令营第三期逻辑推理赛道baseline02跑通指南

无你想你
关注
专栏目录
使用LoRA进行高效微调：基本原理
数字人生
05-26 6456
选择一个预训练的神经网络模型，例如ResNet、Transformer等。为了简单起见，您可以选择一个轻量级的卷积神经网络（CNN）。
详解大模型微调数据集构建方法(持续更新)
热门推荐
herosunly的博客
06-05 13万+
本文详细介绍了大模型微调数据集构建方法，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 微调数据集构建方法 2.1 方法一 2.2 方法二 2.3 方法三 2.4 方法四
LoRA微调
不负热爱
04-14 1003
LoRA论文阅读理解
大语言模型微调实战：LoRA技术详解，掌握高效模型调整的精髓！
最新发布
2401_85373691的博客
08-25 1741
在本文中，我们探讨了 LoRA 微调方法，并以 StarCoder 模型的微调为例介绍了实践过程。通过实践过程的经验来为大家展示一些细节及需要注意的点，希望大家也能通过这种低资源高效微调方法微调出符合自己需求的模型。
lora微调/(sft、lora、p-tuning、freeze四种典型微调方法)
Msc30839573的博客
03-30 1638
参考。
NLP学习总结｜SFT微调方法之一：LoRA微调
weixin_52309665的博客
04-23 2365
矩阵的秩（rank）分为行秩和列秩，行秩指的是矩阵的线性无关的行的个数，列秩同理。因为一个矩阵的行秩和列秩总是相等的，因此它们统一被叫做矩阵的秩。
【语言大模型微调】LoRA — 尖端的大模型微调技术
qq_45752541的博客
07-23 1207
讨论了微调的概念，以及LoRA如何将微调视为学习参数变化，而不是迭代学习新参数。我们学习了线性独立性和秩，以及由于大多数权重矩阵的秩较低，变化矩阵可以用小因子表示。我们将所有内容整合在一起，逐步介绍了LoRA，然后使用HuggingFace PEFT模块在问答任务中实现了LoRA
大模型微调部署实战及类GPT工具的高效使用
herosunly的博客
07-24 7万+
本文主要介绍了专栏《大模型微调部署实战及类GPT工具的高效使用》的核心内容，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 专栏亮点 3. 你的收获 4. 详细目录
研究篇| 一款深入浅出的微调框架
youbingchen的博客
05-21 1691
中介绍了模型训练需要大量的计算资源,一般情况下,个人和企业是无法承担的成本,所以微调的方案就出来, 关于微调的方式也很多,大部分微调方式都是固定模型参数(freeze model), 可以降低计算梯度等内存空间, 从而实现小参数撬动大模型, 关于更多的微调方法可以查看《LoRA在需要微调的层上引入了一对小的可训练矩阵，称为低秩矩阵。训练器: 主要支持lora方式微调, 支持 (增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练和 ORPO 训练方法。
LLM - 大语言模型的指令微调(Instruction Tuning) 概述
Mystra
03-25 2333
大语言模型的指令微调(Instruction Tuning)是一种优化技术，通过在特定的数据集上进一步训练大型语言模型(LLMs)，使其能够更好地理解和遵循人类的指令。这个数据集通常由一系列的指令和相应的期望输出组成。指令微调的目的是提高模型的能力和可控性，使其在执行任务时能够更准确地响应用户的需求。
大模型-DeltaTuning-重参数式：LoRA（Low-Rank Adaptation）【效果比全量微调还是有一定的差距】
u013250861的博客
06-17 350
lora本质是对大模型微调的方法，NLP领域的一个重要课题是，一般领域数据的通用大模型对特定任务或领域的适应。当预训练大模型很大时，重新训练所有模型参数的微调变得不可太行，例如GPT3的175B。提出的lora采用低秩分解矩阵，冻结了预训练模型的权重，并将低秩分解矩阵注入到transformer的每一层，减少了训练参数量。如上图所示们对于某个线性层而言，左边是模型原有的参数，在训练过程中是冻结不变的，右边是lora方法增加的低秩分解矩阵。
大规模语言模型高效参数微调--LoRA 微调系列
Hanscal
10-09 2466
前面提到， Adapter Tuning 存在训练和推理延迟， Prefix Tuning 难训且会减少原始训练数据中的有效文 字长度， 那是否有一种微调办法， 能改善这些不足呢， 在这样的动机驱动下， 有研究者提出了 LoRA(论文：LoRA: Low-Rank Adaptation of Large Language Models) ，LoRA 是 Low-Rank Adaptation 的简写， 它冻结了预先训练好的 模型权重， 通过低秩分解来模拟参数的改变量， 大大减少了下游任务的可训练参数的数量，
LoRA微调 来自huggingface官方 抱抱脸
人工智能曾小健
07-06 1026
原则上，LoRA 可以应用于神经网络中权重矩阵的任何子集，以减少可训练参数的数量。然而，为了简单性和进一步的参数效率，在 Transformer 模型中，LoRA 通常仅应用于注意力块。原始权重矩阵保持冻结状态，不会接受任何进一步的调整。LoRA 模型中可训练参数的数量取决于低秩更新矩阵的大小，而低秩更新矩阵的大小主要由原始权重矩阵的秩和形状决定。为了让微调更加高效，LoRA 的做法是通过低秩分解用两个较小的矩阵（称为。，这种技术可以加速大型模型的微调，同时消耗更少的内存。本概念指南简要概述了。
大模型微调技术——LoRA
qq_41838627的博客
08-16 1381
LoRA作为大模型微调技术一颗耀眼的珍珠，我称之为极简主义的美学。相比P-tuning系列的微调技术的繁杂，LoRA以极简的数学思想却十分成效的结果，在大模型微调技术中站住了重要的一席之地。因此，原理上理解LoRA并不复杂。大模型微调技术系列原理： [大模型微调技术——概述]大模型微调技术——LoRA [大模型微调技术——Prefix Tuning 与 Prompt Tuning总结]
LoRA低秩自适应微调技术原理及实践
新缸中之脑
06-03 860
用于解决微调大型语言模型 (LLM) 的挑战。GPT 和 Llama 等模型拥有数十亿个参数，通常对于特定任务或领域进行微调的成本过高。LoRA 保留了预训练的模型权重，并在每个模型块中加入了可训练层。这显著减少了需要微调的参数数量，并大大降低了 GPU 内存需求。LoRA 的主要优势在于，它大幅减少了可训练参数的数量——有时最多可减少 10,000 倍——从而大大降低了 GPU 资源需求。
大白话之lora微调
qq_40909212的博客
12-26 1119
大白话之lora
LoRA中值得注意的微调细节
qq_41838627的博客
09-24 4998
究竟LoRA怎么用到大模型训练上。首先要有几点认识 1、 理论上LoRA可以用到不同类型神经网络的权重矩阵，减少可训练的参数量 2、 不同的大语言模型基于Transformer的不同改版，Transformer结构主要self attention层（W_q,W_k,W_v,W_o）和MLP层。
LoRA微调方法详解
leo0308的博客
08-15 1万+
大模型高效finetune方法LoRA。
chinese lora微调
12-24
Chinese LoRa是一种用于物联网设备之间通信的无线通信技术，具有低功耗、长距离传输、高抗干扰能力等特点。在实际应用中，为了更好地适应不同环境和需求，需要对Chinese LoRa进行微调。 首先，可以针对不同的应用场景和通信距离进行微调。对于近距离通信需求的设备，可以适当降低发送功率和传输速率，以降低功耗；而对于需要远距离通信的设备，则可以适当提高发送功率和传输速率，以确保数据的稳定传输。 其次，针对设备之间的通信频率进行微调也是非常重要的。根据不同地区的频段规定和设备的传输需求，可以进行适当的频率调整，以避免干扰和提高通信质量。 同时，针对数据传输的安全性和稳定性进行微调也是必要的。通过加密算法和错误检测纠正码等技术手段，提升数据传输的安全性和准确性。 最后，对于设备的电源管理也需要进行微调。通过优化设备的休眠和唤醒机制，降低设备的待机功耗，延长设备的使用寿命。 总之，对Chinese LoRa进行微调可以有效地提升设备的性能和适应性，使其更好地适用于不同的物联网应用场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值