【大模型】基于LoRA微调Gemma大模型（2）

已于 2024-07-25 18:03:03 修改
阅读量2.1k 收藏 25
点赞数 9
分类专栏： 大模型 文章标签： transformer 机器学习 深度学习
于 2024-06-11 17:55:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012856866/article/details/139502628
版权

文章目录

在之前的文章中，我们介绍了Hugging Face调用模型的基本原理，具体参考博客： 【大模型】基于Hugging Face调用及微调大模型（1）

本篇主要讲如何基于Hugging Face的TRL、Transformers框架和数据集来微调开放的大语言模型。

一、环境配置

这里我们基于conda的虚拟环境安装需要的依赖包，环境中已自带 torch==2.3.1：

pip install transformers 
pip install datasets

pip install trl
pip install peft
pip install bitsandbytes

pip install accelerate
pip install evaluate

其中，transformers 和 datasets 无需再过多说明，是我们基于Hugging Face平台微调大模型所必须得依赖包。下面对其中比较重要的几个包做简要介绍：

  • trl：全称为Transformer Reinforcement Learning，TRL是使用强化学习的全栈Transformer语言模型。trl 是一个全栈库，其中我们提供一组工具，用于通过强化学习训练Transformer语言模型和稳定扩散模型，从监督微调步骤（SFT）到奖励建模步骤（RM）再到近端策略优化（PPO）步骤。该库建立在Hugging Face 的 transformers 库之上。
    Github地址：TRL - Transformer Reinforcement Learning

The trl library is a full stack tool to fine-tune and align transformer language and diffusion models using methods such as Supervised Fine-tuning step (SFT), Reward Modeling (RM) and the Proximal Policy Optimization (PPO) as well as Direct Preference Optimization (DPO).

  • peft：全称为Parameter-Efficient Fine-Tuning，PEFT。peft是一种专门为高效调参而设计的深度学习库，其使用了类似于只是蒸馏的技术，通过在预训练模型上添加少量数据来进行微调，从而实现将预训练模型的知识迁移到新的微调模型中。
    Github地址：https://github.com/huggingface/peft

  • bitsandbytes：CUDA自定义函数的轻量级封装库，可实现大模型的量化。bitsandbytes库是将模型量化为8位和4位的最简单选择。

    • 8位量化将fp16中的异常值与int8中的非异常值相乘，将非异常值转换回fp16，然后将它们相加以返回fp16中的权重。这减少了异常值对模型性能产生的降级效果。
    • 4位量化进一步压缩了模型，并且通常与QLoRA一起用于微调量化LLM（低精度语言模型）。

二、微调 Gemma 模型

【任务描述】：基于输入的提示词，补全名人名言，并按照指定格式输出。
【参考博客】：使用 Hugging Face 微调 Gemma 模型

首先介绍下这里要用到的Gemma模型：Gemma是谷歌的一个轻量级、最先进的开放模型家族，适用于各种文本生成任务，包括问答、摘要和推理等，模型地址：https://huggingface.co/google/gemma-2b

Gemma is a family of lightweight, state-of-the-art open models from Google, built from the same research and technology used to create the Gemini models. They are text-to-text, decoder-only large language models, available in English, with open weights, pre-trained variants, and instruction-tuned variants. Gemma models are well-suited for a variety of text generation tasks, including question answering, summarization, and reasoning. Their relatively small size makes it possible to deploy them in environments with limited resources such as a laptop, desktop or your own cloud infrastructure, democratizing access to state of the art AI models and helping foster innovation for everyone.

微调的具体步骤如下：

  1. 从 Hugging Face Hub 下载Gemma 模型文件。
    下载链接：https://huggingface.co/google/gemma-2b/tree/main
    下载完成后放到本地目录 ./models/gemma-2b 下。

  2. 加载模型。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

model_id = "./models/gemma-2b"  # 模型的本地路径

# 定义量化参数
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,  # 启用4位加载
    bnb_4bit_quant_type="nf4",   # 指定用于量化的数据类型。支持两种量化数据类型： fp4 （四位浮点）和 nf4 （常规四位浮点）
    bnb_4bit_compute_dtype=torch.bfloat16  # 用于线性层计算的数据类型
)

tokenizer = AutoTokenizer.from_pretrained(model_id)  # token=os.environ['HF_TOKEN']
model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=bnb_config, device_map={"":0})  # token=os.environ['HF_TOKEN']

这里bnb_config定义了加载模型的基本配置，基于BitsAndBytesConfig类通过 4 位精度实现量化基础模型，以实现更高的内存效率微调协议。

使用模型量化功能，首先需要在环境中安装 bitsandbytes 库，然后在加载模型时传递 BitsAndBytesConfig对象，即可加载具有 QLoRA 的模型。

  1. 测试原始模型。

Gemma本身适用于问答任务，我们首先来测试下模型的<问答>效果：

model_path = "./models/gemma-2b"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map={"":0})

text = "What is machine learning?"
device = "cuda:0"
inputs = tokenizer(text, return_tensors="pt").to(device)

outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

输出结果如下：

<bos>What is machine learning?

Machine learning is a branch of artificial intelligence that allows computers to learn

可以看到在<问答>场景下Gemma的效果还不错。

因为这里我们想做的任务是<基于输入的提示词，补全名人名言>。在开始微调前，我们也先使用一个相当熟知的名言来测试一下 Gemma 模型：

text = "Quote: Imagination is more"
device = "cuda:0"
inputs = tokenizer(text, return_tensors="pt").to(device)

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

运行代码，输出结果如下：

Quote: Imagination is more important than knowledge. Knowledge is limited. Imagination encircles the world.

- Albert Einstein

The

再运行一次，输出结果为：

Quote: Imagination is more important than knowledge. Knowledge is limited. Imagination encircles the world. - Albert Einstein

I am

我们发现在<名人名言补全>场景中，模型不仅补全了名言输出了作者，最后还输出了一些不相关的词（如：the、I am等）。这并不完全是我们希望看到的答案格式。我们将尝试通过微调让模型学会以我们期望的格式来产生答案，预期格式如下:

Quote: Imagination is more important than knowledge. Knowledge is limited. Imagination encircles the world.

Author: Albert Einstein

  1. 下载微调数据集。
    我们选择一个英文“名人名言”数据集 Abirate/english_quotes，下载地址：https://huggingface.co/datasets/Abirate/english_quotes ，
    并将数据集防止本地路径 ./datasets/english_quotes 下。

  2. 加载微调数据集。

# 加载微调数据集
# data = load_dataset(data_path)   # 加载远程数据集
data_path = "../../../data/english_quotes/quotes.jsonl"
data = load_dataset('json', data_files=data_path)   # 加载本地数据集
  1. 使用 LoRA 对模型进行微调：
    这里，微调的方法采用LoRA（Low-Rank Adaptation），LoRA是微软研究团队提出的一种通过冻结预训练模型参数，在Transformer每一层中加入2个可供训练的A、B低秩旁路矩阵（其中一个矩阵负责降维、另一个负责升维），可大幅减少微调参数量的方法。 详见论文：LoRA: Low-Rank Adaptation of Large Language Models （2021）。
# 定义LoRA微调参数
from peft import LoraConfig

lora_config = LoraConfig(
    r=8, # LoRA中的秩
    target_modules=["q_proj", "o_proj", "k_proj", "v_proj", "gate_proj", "up_proj", "down_proj"],
    task_type="CAUSAL_LM",  # 因果语言模型
)


# 使用 LoRA 对模型进行微调
import transformers
from trl import SFTTrainer

def formatting_func(example):
    text = f"Quote: {example['quote'][0]}\nAuthor: {example['author'][0]}"
    return [text]

trainer = SFTTrainer(
    model=model,
    train_dataset=data["train"],
    args=transformers.TrainingArguments(
        per_device_train_batch_size=1,
        gradient_accumulation_steps=4,
        warmup_steps=2,
        max_steps=10,  # 最大迭代次数
        learning_rate=2e-4,
        fp16=True,
        logging_steps=1,
        output_dir="./outputs/gemma-new",  # 微调后模型的输出路径
        optim="paged_adamw_8bit"
    ),
    peft_config=lora_config,
    formatting_func=formatting_func,
)
trainer.train()

这里，最大训练迭代次数max_steps可以根据需求进行设置。
运行模型，等待训练完成。

在这里插入图片描述

查看路径 ./outputs/gemma-new，已经有了微调完成的新模型文件：
在这里插入图片描述

  1. 测试模型。我们使用先前的提示词，基于微调后的模型来推理：

通常情况下，微调时会保存LoRA权重，而不是整个模型的权重，因为LoRA权重比原始模型小得多。因此需要加载微调时保存的LoRA权重以及基础模型进行推理，主要代码如下：

from peft import PeftModel

base_model_path = "./models/gemma-2b"
new_model_path = "./outputs/gemma-new"

base_model = AutoModelForCausalLM.from_pretrained(base_model_path)
merge_model = PeftModel.from_pretrained(base_model, new_model_path)  # 加载base model和new model

merge_model = merge_model.merge_and_unload()  # 物理合并

然后再基于合并后的模型进行推理即可。

参考资料

基于lora技术对Gemma（2B）大模型的微调实践
云上笛暮
04-05 2466
​ 本文主要基于Lora技术，在Google colab上用A100对Gemma 2B大模型进行了指令微调，第一次指令微调是采用databricks-dolly-15k 作为数据集，取得了不错的微调效果，能准确用英文回答问题，但是databricks-dolly-15k 毕竟是英文数据集，微调后的模型对中文的理解并不好，为使模型对中文有更好的理解，笔者采用COIG-CQIA数据集进行了指令微调，微调后模型对中文回答的效果非常明显。
大模型微调部署实战及类GPT工具的高效使用
热门推荐
herosunly的博客
07-24 20万+
本文主要介绍了专栏《大模型微调部署实战及类GPT工具的高效使用》的核心内容，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 专栏亮点 3. 你的收获 4. 详细目录
【大模型】基于Hugging Face调用大模型基础流程
酒酿小圆子呀～
06-06 6872
ChatGPT的基本原理以及预训练大语言模型的发展史，我们知道ChatGPT和所有预训练大语言模型的核心是什么？其实就是 Transformer，Hugging Face 的火爆离不开他们开源的这个 Transformers 库。这个开源库里有数万个我们可以直接调用的模型。很多场景下，这个开源模型已经足够我们使用了。接下来我们就从Transformer的架构和具体的案例来介绍Hugging Face Transformer。
【大模型】玩转 HuggingFace
最新发布
椰子的职场成长记录
03-26 872
以下是玩转HuggingFace的完整指南，从基础使用到深度开发，结合你的技术背景给出可落地方案：官网：https://huggingface.co/
大模型实操与API调用 | 四十一、使用Hugging Face Transformers库部署模型
Androiddddd的博客
08-12 1627
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
如何使用Hugging Face微调大语言模型（LLMs）
FrenzyTechAI的博客
01-26 6017
微调LLM时，了解你的使用场景和要解决的问题至关重要。这将帮助你选择合适的模型，或者帮助你创建一个数据集来微调你的模型。如果你还没有定义你的使用场景，你可能需要重新思考。并非所有的使用场景都需要微调，建议在微调你自己的模型之前，先评估和尝试已经微调过的模型或基于API的模型。例如，我们将使用以下使用场景：我们想要微调一个模型，它可以基于自然语言指令生成SQL查询，然后可以集成到我们的BI工具中。目标是减少创建SQL查询所需的时间，并使非技术用户更容易创建SQL查询。
[大模型]Gemma2b-Instruct Lora 微调
FL1623863129的博客
06-10 1773
LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。task_type：模型类型：需要训练的模型层的名字，主要就是attention部分的层，不同的模型对应的层的名字不同，可以传入数组，也可以字符串，也可以正则表达式。rlora的秩，具体可以看Lora原理lora_alphaLora alaph，具体作用参见Lora原理Lora的缩放是啥嘞？当然不是r（秩），这个缩放就是, 在这个LoraConfig中缩放就是 4 倍。
【AI小项目5】使用 KerasNLP 对 Gemma 模型进行 LoRA 微调
AI完全体
09-16 1989
本项目使用 KerasNLP 对 Gemma 模型进行 LoRA 微调，为了快速验证微调的效果，仅在数据集的一个小子集上进行了一个周期的微调，并使用了较低的 LoRA 秩值。取得了显著的改进效果。
大模型微调系列之 微调 Gemma-2b 来解决数学问题（教程含源码）
iCloudEnd的博客
06-24 351
简单又容易。如果你有足够的时间和计算能力，可以在更多的时期内训练，以在整个数据集上运行，从而获得更好的结果。在这里，提示是关键。
开源模型应用落地-qwen1.5-7b-chat-LoRA微调-Firefly（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
04-02 1万+
使用开源的Firefly大模型训练项目微调qwen1.5-7b-chat模型
谷歌发布开源大模型 Gemma，评测+最佳微调实践来啦！
机器学习社区
02-24 4094
Gemma 是由 Google 推出的一系列轻量级、先进的开源模型，他们是基于 Google Gemini 模型的研究和技术而构建。它们是一系列text generation，decoder-only的大型语言模型，对英文的支持较好，具有模型权重开源、并提供预训练版本（base模型）和指令微调版本（chat模型）。本次 Gemma 开源提供了四个大型语言模型，提供了 2B 和 7B 两种参数规模的版本，每种都包含了预训练版本（base模型）和指令微调版本（chat模型）。
HuggingFace peft LoRA 微调 LLaMA
每天八杯水的博客
12-26 661
HuggingFace peft LoRA 微调 LLaMA
大模型入门（四）—— 基于peft 微调 LLaMa模型
2301_81888214的博客
05-09 2030
llama-7b模型大小大约27G，本文在单张/两张 16G V100上基于hugging face的peft库实现了llama-7b的微调。
LoRA：参数高效微调的优雅之道（底层代码解析）
阿正的梦工坊
03-11 1716
很细致的原理和代码分析
使用Huggingface创建大语言模型RLHF训练流程的完整教程
deephub
12-05 5498
在本文中，我们简要介绍了RLHF的完整流程。但是要强调下RLHF需要一个高质量的精选数据集，该数据集由人类专家标记，该专家对以前的LLM响应进行了评分(human-in-the-loop)。这个过程既昂贵又缓慢。所以除了RLHF，还有DPO(直接偏好优化)和RLAIF(人工智能反馈强化学习)等新技术。这些方法被证明比RLHF更具成本效益和速度。但是这些技术也只是改进了数据集等获取的方式提高了效率节省了经费，对于RLHF的基本原则来说还是没有做什么特别的改变。
如何快速有效的从huggingface上下载模型及加载
xiaomu_347的博客
06-03 1万+
您可以点击模型卡片中的“快速使用”按钮查看如何使用Library进行模型的下载。您还可以从 repos 下载文件或将它们集成到您的库中，并且可指定下载模型的地址。默认模型会下载到~/.cache/modelscope/hub中，如果需要修改下载目录，可以手动指定环境变量：MODELSCOPE_CACHE，modelscope会将模型和数据集下载到该环境变量指定的目录中。对应的，如果需要在ModelScope平台上有感兴趣的模型并希望能下载至本地，则ModelScope提供了多种下载模型的方式。
【大模型微调】Qwen SFT：基于 trl 框架的 QLoRA 微调
NJ_Xavier的博客
10-19 1968
本文以 Qwen 为例，介绍了如何利用参数高效微调（即 QLoRA ）的手段，有监督微调（Supervised Fine-tuning，简称 SFT）大语言模型在命名实体识别（Named Entity Recognition，简称 NER ）任务上的应用。
【一文详解】Hugging face训练学习大模型的必懂技能
longxiaotian718的博客
03-08 3556
1）注册并登录HuggingFace平台：首先，你需要在HuggingFace官网上注册一个账号并登录。这将使你能够访问平台上的所有资源和功能。2）选择合适的模型和数据集：在平台上浏览并选择合适的预训练模型和数据集。你可以根据自己的需求和任务来选择相应的模型和数据集。3）下载并加载模型和数据集：一旦选择了模型和数据集，你可以直接下载并加载到本地环境中。HuggingFace提供了详细的文档和教程来帮助你完成这个过程。4）进行NLP任务：使用加载好的模型和数据集进行NLP任务。
LoRA微调 来自huggingface官方 抱抱脸
强化学习曾小健
07-06 1181
原则上，LoRA 可以应用于神经网络中权重矩阵的任何子集，以减少可训练参数的数量。然而，为了简单性和进一步的参数效率，在 Transformer 模型中，LoRA 通常仅应用于注意力块。原始权重矩阵保持冻结状态，不会接受任何进一步的调整。LoRA 模型中可训练参数的数量取决于低秩更新矩阵的大小，而低秩更新矩阵的大小主要由原始权重矩阵的秩和形状决定。为了让微调更加高效，LoRA 的做法是通过低秩分解用两个较小的矩阵（称为。，这种技术可以加速大型模型的微调，同时消耗更少的内存。本概念指南简要概述了。
大模型lora微调
03-26
以下是基于Keras框架下使用LoRA对Gemma模型进行微调的一个简单实例： ```python import tensorflow as tf from keras.layers import Dense from loralib.layers.dense import LoraDense # 假设这是支持LoRA功能的库...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值