10G显存，使用Unsloth微调Qwen2并使用Ollama推理

最新推荐文章于 2025-03-05 17:30:19 发布

Python编程杰哥

最新推荐文章于 2025-03-05 17:30:19 发布

阅读量4.5k

点赞数 14

文章标签： ui github 人工智能 copilot transformer

本文链接：https://blog.csdn.net/xx_nm98/article/details/142467777

版权

本文主要使用Unsloth基于Qwen2基础模型微调对话机器人以及在Ollama上运行。

在魔搭社区免费算力上，仅需要10G显存，使用Unsloth来微调Qwen2创建自定义聊天机器人，并创建GGUF文件，可以在PC端本地运行。

参考链接：https://docs.unsloth.ai/

1 Unsloth是什么？

Unsloth是一个预训练模型微调框架，专注于提高训练速度和减少显存占用。针对现在主流模型，如Llama-3，Qwen2，Mistral等LLM的微调速度可提升2倍，内存使用量减少70%，而且准确度并不会降低！

所有内核均用OpenAI 的 Triton语言编写
准确度损失为 0%
通过bitsandbytes支持 4 位和 16 位 QLoRA / LoRA 微调。
开源训练速度提高 5 倍
拥有一张很酷的贴纸！所有基于Unsloth的模型都可以用这张贴纸

在本教程中，使用魔搭社区的免费GPU，使用10G显存微调Qwen2-7B

在这里插入图片描述

2 Ollama是什么？

Ollama 是一款极其简单的基于命令行的工具，用于运行 LLM，极易上手，可用于构建 AI 应用程序。本文使用Ollama作为我们的推理引擎。

3 环境安装

选择魔搭社区镜像版本：

在这里插入图片描述

安装Unsloth：

!pip install "unsloth[cu121-torch230] @ git+https://github.com/unslothai/unsloth.git"

4 选择需要微调的模型

本文选择Qwen2-7B，Qwen2 是 Qwen 大型语言模型的新系列。与最先进的开源语言模型（包括之前发布的 Qwen1.5）相比，Qwen2 总体上超越了大多数开源模型，并在一系列针对语言理解、语言生成、多语言能力、编码、数学、推理等的基准测试中展现出与专有模型的竞争力。

from unsloth import FastLanguageModel``import torch``from modelscope import snapshot_download``max_seq_length = 2048` `dtype = torch.bfloat16``load_in_4bit = True` `   ``   ``model_dir=snapshot_download("qwen/Qwen2-7B")``model, tokenizer = FastLanguageModel.from_pretrained(`    `model_name = model_dir,``    max_seq_length = max_seq_length,`    `dtype = dtype,`    `load_in_4bit = load_in_4bit,``)

其中三个参数的设置：

max_seq_length = 2048

这决定了模型的上下文窗口长度，比如Qwen2-7B的上下文长度为32K，并可以通过yarn拓展到128K。本文从测试的角度，设置上下文长度为2048。

dtype = torch.bfloat16

根据A10的GPU选择torch.bfloat16

load_in_4bit = True

本文采用 4 位量化进行微调。这样可将内存使用量减少 4 倍。4 位量化本质上将权重转换为一组有限的数字以减少内存使用量。这样做的缺点是准确度会下降 1-2%。

5 微调参数

model = FastLanguageModel.get_peft_model(`    `model,`    `r = 16, # Choose any number > 0 ! Suggested 8, 16, 32, 64, 128`    `target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",`                      `"gate_proj", "up_proj", "down_proj",],`    `lora_alpha = 16,`    `lora_dropout = 0, # Supports any, but = 0 is optimized`    `bias = "none",    # Supports any, but = "none" is optimized`    `# [NEW] "unsloth" uses 30% less VRAM, fits 2x larger batch sizes!`    `use_gradient_checkpointing = "unsloth", # True or "unsloth" for very long context`    `random_state = 3407,`    `use_rslora = False,  # We support rank stabilized LoRA`    `loftq_config = None, # And LoftQ``)

微调参数的设置目标是改变这些微调参数以提高微调的准确性，同时也不希望发生过拟合。过度拟合是指让语言模型记住数据集，而无法回答新颖的新问题。本文希望最终模型能够回答从未见过的问题，而不是进行记忆。

r = 16, # Choose any number > 0 ! Suggested 8, 16, 32, 64, 128

微调过程的rank。数值越大，占用的内存越多，速度越慢，但可以提高复杂任务的准确性。通常建议数值为 8（用于快速微调），最高可达 128。数值过大可能会导致过度拟合，从而损害模型的质量。

target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",`                  `"gate_proj", "up_proj", "down_proj",],

本文选择所有模块进行微调。您可以删除一些模块以减少内存使用量并加快训练速度，但强烈不建议这样做。

lora_alpha = 16,

微调的缩放因子。较大的数字将使微调更多地了解您的数据集，但可能会导致过度拟合。建议将其等于等级r，或将其加倍。

lora_dropout = 0, # Supports any, but = 0 is optimized

将其保留为 0 以加快训练速度！可以减少过度拟合，但效果不大。

bias = "none",    # Supports any, but = "none" is optimized

将其保留为 none，以实现更快、更少的过度拟合训练！

use_gradient_checkpointing = "unsloth", # True or "unsloth" for very long context

选项包括True、False 和"unsloth"。本文建议这样做"unsloth"，因为unsloth将内存使用量减少了 30%，并支持极长的上下文微调。

random_state = 3407,

确定确定性运行的次数。训练和微调需要随机数，因此设置此数字可使实验可重复。

use_rslora = False,  # We support rank stabilized LoRA

高级功能可自动设置lora_alpha = 16。

loftq_config = None, # And LoftQ

高级功能可将 LoRA 矩阵初始化为权重的前 r 个奇异向量。可以在一定程度上提高准确度，但一开始会使内存使用量激增。

6 Prompt模板和数据集

现在使用 Qwen-2 的chatml格式进行对话风格微调。数据集使用 ShareGPT 风格的 Open Assistant 对话数据集。

数据集链接：

https://modelscope.cn/datasets/OmniData/guanaco-sharegpt-style

使用 get_chat_template 函数来获取正确的聊天模板。get_chat_template 函数目前支持 zephyr、chatml、mistral、llama、alpaca、vicuna、vicuna_old 等模板。

注意 ShareGPT 使用 {“from”: “human”, “value” : “Hi”} 而不是 {“role”: “user”, “content” : “Hi”}，因此使用mapping做一轮映射。

from unsloth.chat_templates import get_chat_template``   ``tokenizer = get_chat_template(`    `tokenizer,`    `chat_template = "chatml", # Supports zephyr, chatml, mistral, llama, alpaca, vicuna, vicuna_old, unsloth`    `mapping = {"role" : "from", "content" : "value", "user" : "human", "assistant" : "gpt"}, # ShareGPT style``)``   ``def formatting_prompts_func(examples):`    `convos = examples["conversations"]`    `texts = [tokenizer.apply_chat_template(convo, tokenize = False, add_generation_prompt = False) for convo in convos]`    `return { "text" : texts, }``pass``   ``from modelscope.msdatasets import MsDataset``dataset =  MsDataset.load('OmniData/guanaco-sharegpt-style', split = "train")``dataset = dataset.map(formatting_prompts_func, batched = True,)

可以看到mapping前后的数据集的具体样式：

7 训练模型

下面开始训练模型，使用huggingface的trl库

from trl import SFTTrainer``from transformers import TrainingArguments``from unsloth import is_bfloat16_supported``   ``trainer = SFTTrainer(`    `model = model,`    `tokenizer = tokenizer,`    `train_dataset = dataset,`    `dataset_text_field = "text",`    `max_seq_length = max_seq_length,`    `dataset_num_proc = 2,`    `packing = False, # Can make training 5x faster for short sequences.`    `args = TrainingArguments(`        `per_device_train_batch_size = 2,`        `gradient_accumulation_steps = 4,`        `warmup_steps = 5,`        `max_steps = 60,`        `learning_rate = 2e-4,`        `fp16 = not is_bfloat16_supported(),`        `bf16 = is_bfloat16_supported(),`        `logging_steps = 1,`        `optim = "adamw_8bit",`        `weight_decay = 0.01,`        `lr_scheduler_type = "linear",`        `seed = 3407,`        `output_dir = "outputs",`    `),``)

通常不建议更改上述参数，但需要详细说明其中一些参数：

per_device_train_batch_size = 2,

如果想更多地利用 GPU 的内存，请增加批处理大小。同时增加批处理大小可以使训练更加流畅，并使过程不会过度拟合。

gradient_accumulation_steps = 4,

相当于将批量大小增加到自身之上，但不会影响内存消耗！如果您想要更平滑的训练损失曲线，通常建议增加这个值。

max_steps = 60, # num_train_epochs = 1,

我们将步骤设置为 60 以加快训练速度。对于可能需要数小时的完整训练运行，请注释掉max_steps，并将其替换为num_train_epochs = 1。将其设置为 1 表示对数据集进行 1 次完整传递。通常建议传递 1 到 3 次，不要更多，否则您的微调会过度拟合。

learning_rate = 2e-4,

如果您想让微调过程变慢，但同时又最有可能收敛到更高精度的结果，请降低学习率。我们通常建议尝试 2e-4、1e-4、5e-5、2e-5 作为数字。

trainer_stats = trainer.train()

显存占用（使用Unsloth）：

8. 推理/运行模型

完成训练过程后运行模型！

from unsloth.chat_templates import get_chat_template``   ``tokenizer = get_chat_template(`    `tokenizer,`    `chat_template = "chatml", # Supports zephyr, chatml, mistral, llama, alpaca, vicuna, vicuna_old, unsloth`    `mapping = {"role" : "from", "content" : "value", "user" : "human", "assistant" : "gpt"}, # ShareGPT style``)``   ``FastLanguageModel.for_inference(model) # Enable native 2x faster inference``   ``messages = [`    `{"from": "human", "value": "杭州的省会在哪里？"},``]``inputs = tokenizer.apply_chat_template(`    `messages,`    `tokenize = True,`    `add_generation_prompt = True, # Must add for generation`    `return_tensors = "pt",``).to("cuda")``   ``outputs = model.generate(input_ids = inputs, max_new_tokens = 64, use_cache = True)``tokenizer.batch_decode(outputs)

也支持流式输出：

FastLanguageModel.for_inference(model) # Enable native 2x faster inference``   ``messages = [`    `{"from": "human", "value": "杭州的省会在哪里？"},``]``inputs = tokenizer.apply_chat_template(`    `messages,`    `tokenize = True,`    `add_generation_prompt = True, # Must add for generation`    `return_tensors = "pt",``).to("cuda")``   ``from transformers import TextStreamer``text_streamer = TextStreamer(tokenizer, skip_prompt = True)``_ = model.generate(input_ids = inputs, streamer = text_streamer, max_new_tokens = 128, use_cache = True)

9.保存模型

我们将微调后的模型保存到一个名叫LoRA的100MB小文件。

model.save_pretrained("lora_model") # Local saving``tokenizer.save_pretrained("lora_model")

10.导出至Ollama

最后，可以将经过微调的模型导出为GGUF格式！本文选择的量化方法是q4_k_m格式。可以前往https://github.com/ggerganov/llama.cpp了解有关 GGUF 的更多信息。

if True: model.save_pretrained_gguf("model", tokenizer, quantization_method = "q4_k_m")

11.自动创建Modelfile

Unsloth 在转化模型为GGUF格式的时候，自动生成Ollama所需的Modelfile文件，其中包括模型的路径和我们用于微调过程的聊天模板！可以打印Modelfile生成的模板，如下所示：

print(tokenizer._ollama_modelfile)

在这里插入图片描述

12.使用Ollama创建和推理模型

Linux环境使用

Liunx用户可使用魔搭镜像环境安装【推荐】

git clone https://www.modelscope.cn/modelscope/ollama-linux.git``cd ollama-linux``sudo chmod 777 ./ollama-modelscope-install.sh``./ollama-modelscope-install.sh

启动Ollama服务

ollama serve

创建自定义模型

使用ollama create命令创建自定义模型

!ollama create unsloth_qwen2 -f /mnt/workspace/model/Modelfile

![](https://mmbiz.qpic.cn/mmbiz_png/8ZLuyaibrZblFnTstXfasj7OJ0pmXlC8eia89EY0fAjqxJ2vvAenI20Zn8aXyo0ZG2U3X4Z13oJW6Ky9KQFTicSDg/640?wx_fmt=png&from=appmsg)

多轮对话测试

在terminal中运行gguf模型

ollama run unsloth_qwen2

测试模型多轮对话效果：

至此，您已经成功使用Unsloth微调了Qwen2基础模型，使之具备多轮对话能力，并导出Ollama支持本地运行，显存使用10G以内。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述