Llama-3.2-3B-Instruct PyTorch模型微调最佳实践

最新推荐文章于 2024-10-17 14:38:27 发布
最新推荐文章于 2024-10-17 14:38:27 发布
阅读量1.6k 收藏 28
点赞数 25
文章标签： llama pytorch 人工智能 大语言模型 大模型 llama3.2 大模型微调
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/python123456_/article/details/142817311
版权

1 引言

Meta Llama 3.2多语言大型语言模型集合（LM）是一个1B和3B大小（文本输入/文本输出）的预训练和指令微调模型集合。Llama 3.2指令调整的纯文本模型针对多语言对话用例进行了优化，包括智能检索和总结任务。它们在常见的行业基准上优于许多可用的开源和闭源聊天模型。

2 环境准备

2.1 安装Ascend CANN Toolkit和Kernels

安装方法请参考安装教程或使用以下命令。

# 请替换URL为CANN版本和设备型号对应的URL
# 安装CANN Toolkit
wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C17SPC701/Ascend-cann-toolkit_8.0.RC1.alpha001_linux-"$(uname -i)".run
bash Ascend-cann-toolkit_8.0.RC1.alpha001_linux-"$(uname -i)".run --install
# 安装CANN Kernels
wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C17SPC701/Ascend-cann-kernels-910b_8.0.RC1.alpha001_linux.run
bash Ascend-cann-kernels-910b_8.0.RC1.alpha001_linux.run --install
# 设置环境变量
source /usr/local/Ascend/ascend-toolkit/set_env.sh
2.2 安装openMind Library以及openMind Hub Client
  • 安装openMind Hub Client
pip install openmind_hub
  • 安装openMind Library，并安装PyTorch框架及其依赖。
pip install openmind[pt]

更详细的安装信息请参考openMind官方的环境安装章节。

2.3 安装llama-factory
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch-npu,metrics]"

3 模型链接和下载

Llama-3.2-3B模型系列由社区开发者在魔乐社区贡献，包括：

通过Git从魔乐社区下载模型的repo，以Llama-3.2-3B-Instruct为例：

# 首先保证已安装git-lfs（https://git-lfs.com）
git lfs install
git clone https://modelers.cn/AI-Research/Llama-3.2-3B-Instruct.git

4 模型推理

用户可以使用openMind Library或者LLaMa Factory进行模型推理，以Llama-3.2-3B-Instruct为例，具体如下：

  • 使用openMind Library进行模型推理

新建推理脚本inference_llama3.2_3b_chat.py，推理脚本内容为：

import argparse
import torch
from openmind import pipeline
from openmind_hub import snapshot_download

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Path to model",
        default=None,
    )

    args = parser.parse_args()

    return args

def main():
    args = parse_args()
    if args.model_name_or_path:
        model_path = args.model_name_or_path
    else:
        model_path = snapshot_download("AI-Research/Llama-3.2-3B-Instruct", revision="main", resume_download=True,
                                    ignore_patterns=["*.h5", "*.ot", "*.mspack"])

    pipe = pipeline(
        "text-generation",
        model=model_path,
        torch_dtype=torch.bfloat16,
        device_map="auto",
    )
    messages = [
        {"role": "system", "content": ""},
        {"role": "user", "content": "你是谁"},
    ]
    outputs = pipe(
        messages,
        max_new_tokens=256,
    )
    print(outputs[0]["generated_text"][-1])

if __name__ == "__main__":
    main()

执行推理脚本：

python inference_llama3.2_3b_chat.py

推理结果如下：

在这里插入图片描述

  • 使用LLaMa Factory与模型交互

在LLaMa Factory路径下新建examples/inference/llama3.2_3b_chat.yaml推理配置文件，文件内容为：

model_name_or_path: xxx # 当前仅支持本地加载，填写Llama-3.2-3B-Instruct本地权重路径
template: llama3

使用以下命令与模型进行交互：

llamafactory-cli examples/inference/llama3.2_3b_chat.yaml

交互结果如下：

在这里插入图片描述

5 模型微调

5.1 数据集

使用Llama-Factory集成的identity数据集。

修改data/identity.json，将{{name}}替换为openmind，{{author}}替换为shengteng。

5.2 微调

新建examples/train_lora/llama3.2_3b_lora_sft.yaml 微调配置文件，微调配置文件如下：

### model
model_name_or_path: xxx/xxx  # 预训练模型路径

### method
stage: sft
do_train: true
finetuning_type: lora
lora_target: all

### dataset
dataset: identity
template: llama3
cutoff_len: 1024
overwrite_cache: true
preprocessing_num_workers: 16

### output
output_dir: ./saves/llama3.2-3b/lora/sft
logging_steps: 10
save_steps: 500
plot_loss: true
overwrite_output_dir: true

### train
per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 1.0e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000

### eval
val_size: 0.1
per_device_eval_batch_size: 1
eval_strategy: steps
eval_steps: 500

使用以下命令进行微调：

llamafactory-cli train examples/train_lora/llama3.2_3b_lora_sft.yaml
5.3 微调可视化
  • 训练Loss可视化：

在这里插入图片描述

6 微调后推理

模型推理

修改examples/inference/llama3.2_3b_lora_sft.yaml推理配置文件，文件内容为：

model_name_or_path: xxx # 当前仅支持本地加载，填写Llama-3.2-3B-Instruct本地权重路径
adapter_name_or_path: ./saves/llama3.2-3b/lora/sft
template: llama3

使用以下命令进行推理：

llamafactory-cli chat examples/inference/llama3.2_3b_lora_sft.yaml

推理结果：

在这里插入图片描述

7 结语

应用使能套件openMind在华为全联接大会2024的展示吸引了我们的注意。通过专家们的分享，得以了解魔乐社区，也了解到openMind在其中发挥的技术能力和未来发展。

通过本次微调的实践，更能体会到openMind套件的魅力。它让微调过程变得更加高效和直观，希望每一位开发者都来尝试它，一起交流经验，更好地提升它的能力。

相关链接：

[1] openMind Library介绍： modelers.cn/docs/zh/ope…

[2] openMind Hub Client介绍： modelers.cn/docs/zh/ope…

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

爱喝白开水a
关注
使用“Unsloth”和“LoRA”微调 Llama-3.2–3B-Instruct 模型(教程含源码)
iCloudEnd的博客
10-18 188
对Llama-3.2–3B 等大型语言模型进行微调可以显著提高它们在自定义数据集上的性能，同时通过LoRA（低秩自适应）等高效方法减少计算开销。使用Unsloth（一种旨在优化和简化流程的尖端工具包），我们可以有效地对自定义数据上的 Llama-3.2–3B-Instruct 进行微调。在本教程中，我们将指导您完成该过程的每个步骤，解释核心代码和概念，同时提供有关如何在您自己的自定义数据集上执行此操作的详细说明。
大模型实战—Llama3-8B 中文微调
热门推荐
04-25 7万+
Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！
LLama 3.2 1B 和 3B：体型虽小，但威力强大！
最新发布
python12345678_的博客
10-17 1294
MetaAI 刚刚推出了 Llama-3.2，这是一套新的模型，其中包括两个令人印象深刻的轻量级大型语言模型 (LLM)，分别具有 10 亿 (1B) 和 30 亿 (3B) 个参数，以及更大的视觉语言模型 (VLM)，分别具有 11B 和 90B 个参数。取决于你问的是谁，这可能被视为人工智能领域向前迈出的突破性一步——而其他人，也许对层出不穷的模型发布感到厌倦，甚至可能不会停下来看一眼。但这个版本真正有趣的地方在于：这些轻量级的 LLM 专门针对边缘设备进行了优化。
Llama 3.2：轻量级设计与多模态能力
OpenCSG的博客
09-27 644
该系列包括轻量级文本模型（1B 和 3B）以及视觉模型（11B 和 90B），专为在边缘和移动设备上的高效应用而设计。这些模型经过预训练和指令调优，特别适合于实时处理和个性化需求，能够在多种任务中展现出卓越的表现，包括文本生成、图像理解和数据摘要。该系列包含轻量级文本模型（1B 和 3B）和视觉模型（11B 和 90B），旨在支持在边缘和移动设备上的高效应用。: 11B 和 90B 模型在图像理解任务中取得了显著成绩，能够在复杂场景中进行准确推理，表现优于传统的封闭模型。扫描上方二维码添加传神小助手。
Meta的 Llama-3 在线使用与下载
weixin_42179685的博客
04-19 6030
Llama 3 在 24K GPU 集群上训练，使用了 15T 的数据，提供了 8B 和 70B 的预训练和指令微调版本，可以支持广泛的应用。目前得到的信息并不是很多，只知道Meta称Llama-3相比之前模型多使用了掩码和分组查询注意力这两项技术。（不明觉厉~）
大模型LLM | Llama3.2来了！支持多模态！手机也能用！
老皮的博客
09-26 1102
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
Llama3-8B+ LLaMA-Factory 中文微调
2401_84052244的博客
04-23 5970
Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！
微调 Llama 3.2 构建心理健康聊天机器人,微调 1B LLaMA 3.2带代码的全面分步指南
iCloudEnd的博客
10-08 562
心理健康是情感、心理和社会层面整体幸福感的一个重要方面。让我们通过微调 Llama 3.2 来找到一些精神上的平静😊。我们需要安装 unsloth，以便以更小的尺寸实现 2 倍的快速训练我们将使用 Unsloth，因为它显著提高了微调大型语言模型 (LLM) 的效率，特别是 LLaMA 和 Mistral。借助 Unsloth，我们可以使用高级量化技术（例如4 位和16 位量化）来减少内存并加快训练和推理速度。这意味着我们甚至可以在资源有限的硬件上部署强大的模型，而不会影响性能。
使用 Unsloth 与 Ollama 使用和微调 Llama 3.2 的分步指南
iCloudEnd的博客
10-08 546
Llama 3.2 是 Meta 的开源 AI 模型 (LLM)，有多个版本（仅用于多语言文本的 1B 和 3B 参数，以及用于接受文本和图像输入并输出文本的多模式输入的 11B 和 90B 参数）。在基准测试性能方面，轻量级模型与谷歌的 Gemma 2 2B IT 和微软的 Phi-3.5 进行了比较。在 1B 版本的大多数基准测试中，Llama 3.2 模型（1B 和 3B）通常表现优于 Gemma 2 ，但略低于 Phi-3.5多模态模型在基准测试中通常表现良好。
Llama3.2 震撼发布，教你轻松本地电脑部署Llama3.2，搭建免费本地大模型助手
大模型研究中心
09-27 3762
是 Meta（Facebook 的母公司）发布的一系列最先进的开源大语言模型。Ollama 是一个开源的大模型管理工具，它提供了丰富的功能，包括模型的训练、部署、监控等。通过Ollama，你可以轻松地管理本地的大模型，提高模型的训练速度和部署效率。此外，Ollama还支持多种机器学习框架，如TensorFlow、PyTorch等，使得你可以根据自己的需求选择合适的框架进行模型的训练。官网下载地址：https://ollama.com/download。
媲美GPT-4o mini的小模型，Meta Llama 3.2模型全面解读！
hunteritself的博客
10-03 1393
媲美GPT-4o mini的小模型，Meta Llama 3.2模型全面解读！
llama3.2技术细节以及相关内容详解
weixin_31588979的博客
09-29 1226
Llama 3.2系列涵盖了小型和中型视觉LLM（参数分别为11B和90B）以及适用于边缘和端侧的轻量级纯文本模型（1B和3B），包含了预训练和指令调优版本。1B和3B模型：这些模型能够处理长达128K的令牌上下文，位于行业前列，适用于设备端的总结、指令追踪以及边缘环境中的文本重写任务。11B和90B视觉模型：在图像理解方面，性能超越了诸如Claude 3 Haiku等封闭模型，能够处理文档理解（包括图表和图形）、图像字幕生成以及基于自然语言描述的图像中对象精确定位等任务。
支持视觉任务，提供超轻量参数，Llama 3.2 模型在 Amazon Bedrock 上正式可用！
亚马逊云科技专栏
09-26 198
今年 7 月，我们宣布在 Amazon Bedrock 中提供 Llama 3.1 模型。如今生成式 AI 技术正在以令人难以置信的速度发展，我们很高兴为大家介绍 Amazon Bedrock上架的新模型—— Llama 3.2。Amazon Bedrock 中提供的 Llama 3.1 模型https://aws.amazon.com/blogs/aws/announcing-llama-3-1...
Meta发布Llama 3.2轻量级AI模型，引领边缘AI革命
边缘计算社区
09-26 322
01前言Meta今天在Meta Connect2024大会上正式推出了 Llama 3.2 AI 大模型，其特点是开放和可定制，开发者可以根据其需求定制实现边缘AI革命。Llama 3.2 提供了多模态视觉和轻量级模型，代表了 Meta 在大型语言模型（LLMs）方面的最新进展，在各种使用案例中提供了更强大的功能和更广泛的适用性。其中包括适合边缘设备的中小型视觉 LLMs （11B 和 90B），...
MetaAI最新开源Llama3.2亮点及使用指南
sexy19910923的博客
09-29 1514
Llama大模型是由Meta的人工智能研究团队开发并开源的大型语言模型，继Llama2+模型之后，Meta进一步推出了性能更卓越的Meta Llama3系列语言模型，包括一个80亿参数模型和一个700亿参数模型。lama370B的性能媲美Gemini1.5Pro,全面超越Claude大杯，而Llama3 400B+的模型与Claude超大版和新版GPT-4 Turbo相当。
一文了解：最新版本 Llama 3.2
qianggezhishen的专栏
09-28 1538
用户可以直接在设备上对大量文本进行摘要，比如电子邮件或会议记录，不需要依赖云服务。
Llama 3.2入门基础教程（非常详细），Llama 3.2微调、部署以及多模态训练入门到精通，收藏这一篇就够了！
weixin_58753619的博客
09-27 3483
9 月 25 日 Meta 发布了 Llama 3.2，包括 11B 和 90B 的视觉语言模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值