【大模型】基于Unsloth微调Llama-3.1 8b代码详解

已于 2024-08-06 16:31:08 修改
阅读量137 收藏
点赞数
分类专栏： 大模型 文章标签： 人工智能 语言模型
于 2024-08-06 14:34:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012856866/article/details/140955316
版权

文章目录

Unsloth是一个开源的大模型训练加速项目，使用OpenAI的Triton对模型的计算过程进行重写，大幅提升模型的训练速度，降低训练中的显存占用。

1、加载模型和分词器

from unsloth import FastLanguageModel
import torch
max_seq_length = 2048 # Choose any! We auto support RoPE Scaling internally!
dtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
load_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False.

# 4bit pre quantized models we support for 4x faster downloading + no OOMs.
fourbit_models = [
    "unsloth/Meta-Llama-3.1-8B-bnb-4bit",      # Llama-3.1 15 trillion tokens model 2x faster!
    "unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit",
    "unsloth/Meta-Llama-3.1-70B-bnb-4bit",
    "unsloth/Meta-Llama-3.1-405B-bnb-4bit",    # We also uploaded 4bit for 405b!
    "unsloth/Mistral-Nemo-Base-2407-bnb-4bit", # New Mistral 12b 2x faster!
    "unsloth/Mistral-Nemo-Instruct-2407-bnb-4bit",
    "unsloth/mistral-7b-v0.3-bnb-4bit",        # Mistral v3 2x faster!
    "unsloth/mistral-7b-instruct-v0.3-bnb-4bit",
    "unsloth/Phi-3-mini-4k-instruct",          # Phi-3 2x faster!d
    "unsloth/Phi-3-medium-4k-instruct",
    "unsloth/gemma-2-9b-bnb-4bit",
    "unsloth/gemma-2-27b-bnb-4bit",            # Gemma 2x faster!
] # More models at https://huggingface.co/unsloth

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/Meta-Llama-3.1-8B",
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
    # token = "hf_...", # use one if using gated models like meta-llama/Llama-2-7b-hf
)

输出如下：

在这里插入图片描述

【代码解读】：
（1）代码中基于 unsloth 的 FastLanguageModel.from_pretrained() 加载了模型和分词器，能够显著提升模型和分词器加载速度。

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/Meta-Llama-3.1-8B",
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
    # token = "hf_...", # use one if using gated models like meta-llama/Llama-2-7b-hf
)

（2）这里，本文也给出传统的基于Hugging Face的 transformers 的模型和分词器加载方式，以此来对比一下：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = './model/llama-3-8b'   # 模型的本地路径
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, device_map='auto')
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

2、LoRA adapter

We now add LoRA adapters so we only need to update 1 to 10% of all parameters!

model = FastLanguageModel.get_peft_model(
    model,
    r = 16, # Choose any number > 0 ! Suggested 8, 16, 32, 64, 128
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                      "gate_proj", "up_proj", "down_proj",],
    lora_alpha = 16,
    lora_dropout = 0, # Supports any, but = 0 is optimized
    bias = "none",    # Supports any, but = "none" is optimized
    # [NEW] "unsloth" uses 30% less VRAM, fits 2x larger batch sizes!
    use_gradient_checkpointing = "unsloth", # True or "unsloth" for very long context
    random_state = 3407,
    use_rslora = False,  # We support rank stabilized LoRA
    loftq_config = None, # And LoftQ
)

输出如下：

在这里插入图片描述

【代码解读】：
（1）代码中基于 unsloth 的 FastLanguageModel.get_peft_model() 的方式增加了 LoRA adapter，后续该模型作为参数传入 SFTTrainer 中。

（2）这里，本文也给出传统的基于 peft 的get_peft_model 的增加LoRA adapter 的方式，以此来对比一下：

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=16,
    lora_alpha=16,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj",],
)

model = get_peft_model(model, lora_config)
# model.print_trainable_parameters()

传统方式中，通过调用 get_peft_model 方法包装基础的 Transformer 模型。可以进一步通过 model.print_trainable_parameters 方法查看可训练参数的数量以及占比（相比原始模型参数大幅减少）。

3、数据准备

  • 数据集：这里使用的数据集为 yahma，该数据集是基于原始 Alpaca 数据筛选过滤出52K条数据得到，数据主页为：https://huggingface.co/datasets/yahma/alpaca-cleaned
  • 注意事项：需要在 tokenized output 后面加上 EOS_TOKEN，否则代码将陷入无限迭代生成中。
alpaca_prompt = """Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

### Instruction:
{}

### Input:
{}

### Response:
{}"""

EOS_TOKEN = tokenizer.eos_token # Must add EOS_TOKEN
def formatting_prompts_func(examples):
    instructions = examples["instruction"]
    inputs       = examples["input"]
    outputs      = examples["output"]
    texts = []
    for instruction, input, output in zip(instructions, inputs, outputs):
        # Must add EOS_TOKEN, otherwise your generation will go on forever!
        text = alpaca_prompt.format(instruction, input, output) + EOS_TOKEN
        texts.append(text)
    return { "text" : texts, }
pass

from datasets import load_dataset
dataset = load_dataset("yahma/alpaca-cleaned", split = "train")
dataset = dataset.map(formatting_prompts_func, batched = True,)

在这里插入图片描述

【代码解读】：

（1）这里，训练数据集 yahma/alpaca-cleaned 采用了 Alpaca 系列数据集的 prompt 格式，由 Instruction、 Input、Response组成。

（2）格式化函数 formatting_prompts_func 的作用为将训练语料正确处理成符合预训练模型规则的字符串，该函数后续需要传入SFTTrainer 类中。

这里，输入语料数据无法直接输入模型中，需要先基于格式化函数 formatting_prompts_func 转换成规范化的字符串，再转换成 token，才能输入到模型中。

（3）这里官方还给出了一些其他类型任务的数据准备及prompt示范样例：

目前常见微调数据集的格式包括以下几种：指令跟随格式、多轮对话格式，以及其他辅助格式。

  • 指令跟随格式：指令跟随形式是指用户输入指令，模型按照指令的要求输出结果的格式。这种形式的数据集通常采用json文件格式存储，典型的如Alpaca-52k数据集。Alpaca的格式有两类，一类是instruction/output格式，另一类为instruction/input/output格式。
  • 多轮对话格式：多轮对话形式是指用户和模型之间以对话的形式进行，模型将通过与用户进行多轮的交互最终来达到用户的需求。典型的如训练Vicuna模型 [6] 所使用的ShareGPT数据集。
  • 其他辅助格式：除了上述提到的数据格式，还有一些数据格式不易转化为对话形式，例如纯文本文档。另外，还有一些针对特定用途的数据集，例如文本总结数据集以及根据纯文本生成对话的数据集。

关于LLM中Prompt的介绍，参考博客： [NLP]LLM—大模型指令微调中的“Prompt”

4、训练模型

4.1 实例化 SFTrainer 类

基于 Huggingface 的 TRL 库中的 SFTTrainer 类来训练模型，SFTTrainer 的官方文档：https://huggingface.co/docs/trl/sft_trainer

from trl import SFTTrainer
from transformers import TrainingArguments
from unsloth import is_bfloat16_supported

trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    train_dataset = dataset,
    dataset_text_field = "text",
    max_seq_length = max_seq_length,
    dataset_num_proc = 2,
    packing = False, # Can make training 5x faster for short sequences.
    args = TrainingArguments(
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 5,
        # num_train_epochs = 1, # Set this for 1 full training run.
        max_steps = 60,
        learning_rate = 2e-4,
        fp16 = not is_bfloat16_supported(),
        bf16 = is_bfloat16_supported(),
        logging_steps = 1,
        optim = "adamw_8bit",
        weight_decay = 0.01,
        lr_scheduler_type = "linear",
        seed = 3407,
        output_dir = "outputs",
    ),
)

输出如下：

在这里插入图片描述

【代码解读】：
（1） SFTTrainer 类中传入的 model 为我们前面在 LORA 步骤中定义的模型（可训练参数的数量少），以实现参数高效微调。

4.2 启动训练

trainer_stats = trainer.train()

输出如下：

在这里插入图片描述

4.3 显存占用情况

#@title Show final memory and time stats
used_memory = round(torch.cuda.max_memory_reserved() / 1024 / 1024 / 1024, 3)
used_memory_for_lora = round(used_memory - start_gpu_memory, 3)
used_percentage = round(used_memory         /max_memory*100, 3)
lora_percentage = round(used_memory_for_lora/max_memory*100, 3)
print(f"{trainer_stats.metrics['train_runtime']} seconds used for training.")
print(f"{round(trainer_stats.metrics['train_runtime']/60, 2)} minutes used for training.")
print(f"Peak reserved memory = {used_memory} GB.")
print(f"Peak reserved memory for training = {used_memory_for_lora} GB.")
print(f"Peak reserved memory % of max memory = {used_percentage} %.")
print(f"Peak reserved memory for training % of max memory = {lora_percentage} %.")

输出如下：

在这里插入图片描述

5、模型推理

5.1 直接推理

# alpaca_prompt = Copied from above
FastLanguageModel.for_inference(model) # Enable native 2x faster inference
inputs = tokenizer(
[
    alpaca_prompt.format(
        "Continue the fibonnaci sequence.", # instruction
        "1, 1, 2, 3, 5, 8", # input
        "", # output - leave this blank for generation!
    )
], return_tensors = "pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens = 64, use_cache = True)
tokenizer.batch_decode(outputs)

输出如下：

在这里插入图片描述

5.2 基于 TextStreamer 推理

You can also use a TextStreamer for continuous inference - so you can see the generation token by token, instead of waiting the whole time!

# alpaca_prompt = Copied from above
FastLanguageModel.for_inference(model) # Enable native 2x faster inference
inputs = tokenizer(
[
    alpaca_prompt.format(
        "Continue the fibonnaci sequence.", # instruction
        "1, 1, 2, 3, 5, 8", # input
        "", # output - leave this blank for generation!
    )
], return_tensors = "pt").to("cuda")

from transformers import TextStreamer
text_streamer = TextStreamer(tokenizer)
_ = model.generate(**inputs, streamer = text_streamer, max_new_tokens = 128)

输出如下：

在这里插入图片描述

6、保存/加载 LORA 模型

6.1 保存 LoRA Adapter

  • 本地保存，保存至本地路径
model.save_pretrained("lora_model") # Local saving
tokenizer.save_pretrained("lora_model")
  • 在线保存，并推送至 Huggingface 远程hub
model.push_to_hub("your_name/lora_model", token = "...") # Online saving
tokenizer.push_to_hub("your_name/lora_model", token = "...") # Online saving

6.2 加载 LoRA Adapter

官网中给了两种方式：

  • 方式1：基于Unsloth的FastLanguageModel

如果想加载我们刚刚保存用于推理的LoRA适配器，请将False设置为True：

if False:
    from unsloth import FastLanguageModel
    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name = "lora_model", # YOUR MODEL YOU USED FOR TRAINING
        max_seq_length = max_seq_length,
        dtype = dtype,
        load_in_4bit = load_in_4bit,
    )
    FastLanguageModel.for_inference(model) # Enable native 2x faster inference

# alpaca_prompt = You MUST copy from above!

inputs = tokenizer(
[
    alpaca_prompt.format(
        "What is a famous tall tower in Paris?", # instruction
        "", # input
        "", # output - leave this blank for generation!
    )
], return_tensors = "pt").to("cuda")

from transformers import TextStreamer
text_streamer = TextStreamer(tokenizer)
_ = model.generate(**inputs, streamer = text_streamer, max_new_tokens = 128)

输出如下：

在这里插入图片描述

  • 方式2：基于Hugging Face的 AutoModelForPeftCausalLM

在未安装 unsloth 的情况下，可以使用基于Hugging Face的 AutoModelForPeftCausalLM的方式来加载模型，不过相比于Unsloth加载速度会慢很多，且不支持4bit模型。

You can also use Hugging Face’s AutoModelForPeftCausalLM. Only use this if you do not have unsloth installed. It can be hopelessly slow, since 4bit model downloading is not supported, and Unsloth’s inference is 2x faster.

if False:
    # I highly do NOT suggest - use Unsloth if possible
    from peft import AutoPeftModelForCausalLM
    from transformers import AutoTokenizer
    model = AutoPeftModelForCausalLM.from_pretrained(
        "lora_model", # YOUR MODEL YOU USED FOR TRAINING
        load_in_4bit = load_in_4bit,
    )
    tokenizer = AutoTokenizer.from_pretrained("lora_model")

7、Saving to float16 for VLLM

We also support saving to float16 directly. Select merged_16bit for float16 or merged_4bit for int4. We also allow lora adapters as a fallback. Use push_to_hub_merged to upload to your Hugging Face account! You can go to https://huggingface.co/settings/tokens for your personal tokens.

# Merge to 16bit
if False: model.save_pretrained_merged("model", tokenizer, save_method = "merged_16bit",)
if False: model.push_to_hub_merged("hf/model", tokenizer, save_method = "merged_16bit", token = "")

# Merge to 4bit
if False: model.save_pretrained_merged("model", tokenizer, save_method = "merged_4bit",)
if False: model.push_to_hub_merged("hf/model", tokenizer, save_method = "merged_4bit", token = "")

# Just LoRA adapters
if False: model.save_pretrained_merged("model", tokenizer, save_method = "lora",)
if False: model.push_to_hub_merged("hf/model", tokenizer, save_method = "lora", token = "")

8、GGUF / llama.cpp Conversion

# Save to 8bit Q8_0
if False: model.save_pretrained_gguf("model", tokenizer,)
# Remember to go to https://huggingface.co/settings/tokens for a token!
# And change hf to your username!
if False: model.push_to_hub_gguf("hf/model", tokenizer, token = "")

# Save to 16bit GGUF
if False: model.save_pretrained_gguf("model", tokenizer, quantization_method = "f16")
if False: model.push_to_hub_gguf("hf/model", tokenizer, quantization_method = "f16", token = "")

# Save to q4_k_m GGUF
if False: model.save_pretrained_gguf("model", tokenizer, quantization_method = "q4_k_m")
if False: model.push_to_hub_gguf("hf/model", tokenizer, quantization_method = "q4_k_m", token = "")

# Save to multiple GGUF options - much faster if you want multiple!
if False:
    model.push_to_hub_gguf(
        "hf/model", # Change hf to your username!
        tokenizer,
        quantization_method = ["q4_k_m", "q8_0", "q5_k_m",],
        token = "", # Get a token at https://huggingface.co/settings/tokens
    )

Now, use the model-unsloth.gguf file or model-unsloth-Q4_K_M.gguf file in llama.cpp or a UI based system like GPT4All. You can install GPT4All by going here.

参考资料

基于Unsloth微调Llama-3的官方资料：

实战过程遇到的小问题，也可以参考以下博客：

酒酿小圆子～
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大模型微调-对LLama3.1进行全参微调+Lora微调+QLora微调-附项目源码+流程教程-优质项目实战.zip
07-26
大模型微调_对LLama3.1进行全参微调+Lora微调+QLora微调_附项目源码+流程教程_优质项目实战
LLama3 中文大模型进行指令微调的中文聊天语言模型
06-06
Llama3-8B-Chinese-Chat 是一款基于 Meta-Llama-3-8B-Instruct 模型进行指令微调的中文聊天语言模型。该模型针对中文和英文用户进行了专门的优化，具有角色扮演、工具使用、数学计算等多种功能。最新的 v2.1 版本相...
大模型微调-快速微调LLaMA实现-附项目源码+流程教程-优质项目实战.zip
05-21
在当前的IT行业中，大模型微调已经成为提升人工智能性能的关键技术。这个压缩包文件提供了一个关于如何快速微调LLaMA（Large Language Model for Many Applications）的实践项目，旨在帮助开发者深入理解并掌握这一...
Llama2-7B/13B chat模型（下载地址）.txt
08-14
根据提供的文件信息，我们可以了解到关于Llama2-7B与Llama2-13B两种不同规模的大模型及其对应的聊天版本。以下将详细介绍这些模型的特点、应用场景以及如何获取它们。 ### Llama2-7B与Llama2-13B简介 #### 1. **...
大创：基于Ziya-LLaMA-13B-V1的中医古籍知识问答大模型
02-21
基于Ziya-LLaMA-13B-V1的中医古籍知识问答大模型，在 Ziya-LLaMA-13B-V1基线模型的基础上加入中医教材、中医各类网站数据等语料库，训练出一个具有中医知识理解力的预训练语言模型（pre-trained model），之后在此...
GPT-4o mini的变革及其对用户的影响
Brian_blog
08-01 495
GPT-4o mini 的发布不仅是技术进步的一大步，也为开发者和用户带来了深远的变革。从降低成本、提升开发效率到改善用户体验和推动个性化服务，这一模型正在重塑我们与技术互动的方式。对于开发者来说，它是一个强大的工具；对于用户来说，它则是一个提升服务质量和个性化体验的利器。随着 GPT-4o mini 的广泛应用，我们可以期待更多创新和变革的到来。
常见的文心一言的指令
知码客
07-25 2543
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
【IEEE出版 | 高录用率 | 快速检索 | 有ISBN号！】2024年智能计算与数据挖掘国际学术会议 (ICDM 2024，9月20-22)
Jurio的博客
08-01 650
IEEE出版 | 高录用率 | 快速检索 | 有ISBN号！2024年智能计算与数据挖掘国际学术会议 (ICDM 2024) 2024 International Conference on Intelligent Computing and Data Mining
电脑技巧：9个免费的AI图片无损放大工具和网站
08-05 583
今天小编给大家介绍9款免费的AI图片放大工具和网站，帮助你提高图片清晰度，感兴趣的朋友可以自己试一试！美图设计室是美图秀秀公司推出的一款在线图片编辑和设计工具箱，提供包括AI 抠图、AI海报、AI PPT、AI消除、AI文生图、AI变清晰、AI无损放大等AI图片编辑工具。其提供的图片无损放大功能，目前是限时免费中，可以帮助用户将JPG、JPEG、PNG、HEIC等格式的图片放大清晰不失真，细节更丰富。✅ 产品优点由美图推出，产品功能稳定，处理速度较快支持免费进行图片放大到8倍。
【Python】Numpy概述安装及使用
Q20011102的博客
08-03 529
Numpy是科学计算基础库，提供大量科学计算相关功能，比如数据统计，随机数生成等。其提供最核心类型为多维数组类型（ndarray），支持大量的维度数组与矩阵运算，Numpy支持向量处理ndarray对象，提高程序运算速度。数组计算、数组存取函数、加权平均函数可让其在python中使用向量和数学矩阵在数据科学、人工智能（包括深度学习、语言处理分支）发挥重要作用。
和数集团十周年庆典：新起点、新目标、新征程
Likelib的博客
08-01 1241
在十周年庆典这个特殊的日子，和数集团对在市场开拓、客户服务等方面具有突出表现的个人进行了表彰。
RPA+AI有什么应用？6大技术融合方向分析 | 实在RPA研究
最新发布
SHIZAIZHINENG的博客
08-06 812
随着数字化转型的加速，企业正寻求更高效、智能的方法来优化业务流程。机器人流程自动化（RPA）作为一种快速兴起的技术，已经证明了其在自动化重复性任务方面的能力。然而，当RPA与各种人工智能（AI）技术相结合时，其潜力将得到更全面的释放。本文将探讨不同的AI技术如何与RPA结合，以及这种结合为企业带来的变革性应用方向。机器学习 (ML)使系统能够从数据中学习和改进提高预测准确性，自动化决策制定风险管理、欺诈检测、个性化推荐银行使用ML增强RPA进行信用评分和欺诈识别计算机视觉 (CV)
打造智能障碍物检测系统：从零开始的深度学习项目
a871923942的博客
08-05 710
随着自动驾驶技术的发展，障碍物检测成为保障行车安全的重要一环。通过深度学习模型，尤其是YOLO（You Only Look Once）模型，可以高效、准确地检测道路上的障碍物，从而提高自动驾驶系统的安全性和可靠性。
常用的机器学习模型的不同调用方式
weixin_71458119的博客
08-01 1164
不同机器学习方法的调用
Transformer 架构告诉我们什么？
2401_85233349的博客
08-01 1551
在传统的心理语言学方法中，人类语言是用可解释的模型来解释的，这些模型将符号元素（例如名词、动词、形容词、副词等）与基于规则的操作相结合。从几何上讲，它们之间的夹角越小，余弦值和点积就越大，并且这两个词在特定上下文中的相关性就越高，就像在高维空间中表示的那样。，Transformer 作为过度参数化的简单模型所展现出的蛮力学习，与进化过程类似，都是“简单而简约的”。下面是一个简单的示例，展示了词向量的基本概念。有趣的是，A 和 B 的相关系数也是角度的余弦（见上文 (2) 和 (3) 的公式）。
动手学强化学习 第 19 章 目标导向的强化学习 训练代码
人工智能
08-02 126
这节改动不大，官方代码基本可以直接运行，应该只有一个warning。
【编译原理文法概述】
武帝为此的博客
08-05 541
文法（Grammar）是描述语言语法结构的一种形式化系统，用于定义合法字符串的集合。在编译原理中，文法是用于定义编程语言语法的一套规则。通过这些规则，我们可以确定某个字符串是否属于该语言，及其结构如何。这些规则定义了如何从起始符号生成语言中的字符串，进而描述了语言的语法。
NRK3301识别语音芯片在智能按摩椅中的应用与体验提升
jiuxindianzi的博客
08-02 262
NRK3301语音识别芯片应用于按摩椅，实现高识别准确率、快速响应、远场识别、降噪及离线操作，提供便捷高效且保护隐私的交互体验，期待在更多健康设备中应用。
如何把视频语音转文字？交给这4款工具就完事
xixixihahaha_的博客
08-01 630
然而，随着采访的深入，如何快速准确地将这些珍贵的视频内容转化为文字记录，成为了一个亟待解决的问题。在这场速度与精准度的竞赛中，视频转文字的免费软件便成为了记者们不可或缺的助手。这两天巴黎奥运会的盛大开幕，世界各地的记者们纷纷涌入这个体育盛事的现场，带着他们的镜头和麦克风，捕捉每一个激动人心的瞬间。高精度识别：采用先进的语音识别技术，确保转换文字的准确性。适用于多种场景的视频转文字需求，特别是对外语视频的支持。云端存储：转换后的文字自动保存在云端，方便随时访问。③ 开始转写，并在线查看和编辑生成的文字内容。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值