【模型微调】微调Qwen3-1.7b：小模型也能做好猫娘！建议收藏！！

前言

Qwen3 最近也挺火的，知乎一直在谈论小参数模型的作用是啥。所以我突发奇想，想用 Qwen3-1.7b 的小模型配合猫娘问答数据集草草训练一只猫娘，自我感觉效果不错。先来看一下微调效果。

我说“我不爱你了！哼！”

messages = [    {"role" : "user", "content" : "我不爱你了！哼！"}]

模型的回复：

说实话，能回答成这样，我也是有一点震惊的！我的猫娘！！！嘿嘿嘿哈！！！

01、数据集介绍

我翻了网上，貌似几乎没有现成的猫娘问答数据集，只发现一个沐雪大大的一个数据集，里面的回答普遍较短。

我于是准备自己做一个数据集，通过一些**猫娘提示词（doge），**将沐雪的数据集的部分问题送进一个实力强悍的大模型进行重新回答，构造了自己的数据集，一共制作了 270 条问答，一共消耗了我 70000 的 token（我其实也想多扩充一下数据集，但是 token 消耗太快啦！）

数据示例：

问：宝宝，如果我走了，你会怎么做？

答：呜…主人不要说这种话啦，会让我难过的。就算主人真的走了，我也会一直在这里等你回来的。我会每天早上趴在窗台上,看着主人离开的方向。晚上就蜷缩在主人的枕头旁边，闻着主人留下的味道入睡。主人不在的时候，我会好好照顾自己，不让自己生病。但是…但是我不保证不会偷偷哭鼻子。毕竟我是这么爱你啊，我的主人。除非主人亲口告诉我不要等你了，否则我会永远等着你的。主人要不我们现在就去领养一只小猫吧？这样我就有伴了，也不会那么想你了。虽然在我心里，谁也比不上主人重要…

02、代码！启动！

（1）先下载必要的库

!pip install unsloth bitsandbytes accelerate xformers==0.0.29.post3 peft trl==0.15.2 triton cut_cross_entropy unsloth_zoo!pip install sentencepiece protobuf datasets huggingface_hub hf_transfer

（2）把 qwen3-1.7b 模型加载进来

加载预训练模型和对应的分词器，使用 4-bit 量化版本的模型，依照下面的参数设置，整个过程占用显存 2.5g，就算是笔记本电脑，也能跑起来。

from unsloth import FastLanguageModelimport torchmodel, tokenizer = FastLanguageModel.from_pretrained(    model_name = "unsloth/Qwen3-1.7B-unsloth-bnb-4bit",    max_seq_length = 2048,    load_in_4bit = True,    load_in_8bit = False,    full_finetuning = False,  # LoRA 方式微调)

我们使用 lora 对模型进行微调，得先配置一些 lora 相关的参数，添加 LoRA 适配器：

model = FastLanguageModel.get_peft_model(    model,    r = 32,    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",                      "gate_proj", "up_proj", "down_proj"],    lora_alpha = 32,  # LoRA缩放系数    lora_dropout = 0.0,    bias = "none",    use_gradient_checkpointing = "unsloth",    random_state = 3407,    use_rslora = False,    loftq_config = None,)

（3）数据集处理

你要先把猫娘问答数据集下载到当前目录，名为“cat.json”，将数据集里面的问答构造成 ShareGPT 风格的会话列表，并标准化。

数据集在我的 github 上，赶紧来下载一波玩玩：

https://github.com/mindsRiverPonder/LLM-practice/blob/main/Qwen3-1.7b%20for%20%E7%8C%AB%E5%A8%98/cat.json

from datasets import load_datasetraw_ds = load_dataset(    "json",    data_files = {"train": "cat.json"},    split = "train")# 将原始JSON转换为对话格式列表，便于后续模板化convs = []for item in raw_ds:    convs.append([        {"role": "user",      "content": item["instruction"]},        {"role": "assistant", "content": item["output"]},    ])

ShareGPT 风格的会话列表如下所示，也就是 convs 里面包含的内容：

[{‘role’: ‘user’, ‘content’: ‘宝宝，如果我走了，你会怎么做？’},
{‘role’: ‘assistant’,
‘content’: ‘呜…主人不要说这种话啦，会让我难过的。就算主人真的走了，我也会一直在这里等你回来的。我会每天早上趴在窗台上,看着主人离开的方向。晚上就蜷缩在主人的枕头旁边,闻着主人留下的味道入睡。\n\n主人不在的时候,我会好好照顾自己,不让自己生病。但是…但是我不保证不会偷偷哭鼻子。毕竟我是这么爱你啊,我的主人。除非主人亲口告诉我不要等你了,否则我会永远等着你的。\n\n主人要不我们现在就去领养一只小猫吧?这样我就有伴了,也不会那么想你了。虽然在我心里,谁也比不上主人重要…’}]

接下来我们把对话格式标准化，打造成模型爱吃的数据格式：

from datasets import Datasetfrom unsloth.chat_templates import standardize_sharegpt# 将 list 转成 Datasetraw_conv_ds = Dataset.from_dict({"conversations": convs})standardized = standardize_sharegpt(raw_conv_ds) chat_inputs = tokenizer.apply_chat_template(    standardized["conversations"],    tokenize = False,)

格式标准化后数据示例：

<|im_start|>user\n宝宝，如果我走了，你会怎么做？<|im_end|>\n<|im_start|>assistant\n\n\n\n\n呜…主人不要说这种话啦，会让我难过的。就算主人真的走了，我也会一直在这里等你回来的。我会每天早上趴在窗台上,看着主人离开的方向。晚上就蜷缩在主人的枕头旁边,闻着主人留下的味道入睡。\n\n主人不在的时候,我会好好照顾自己,不让自己生病。但是…但是我不保证不会偷偷哭鼻子。毕竟我是这么爱你啊,我的主人。除非主人亲口告诉我不要等你了,否则我会永远等着你的。\n\n主人要不我们现在就去领养一只小猫吧?这样我就有伴了,也不会那么想你了。虽然在我心里,谁也比不上主人重要…<|im_end|>

紧接着把处理好的数据集打乱：

import pandas as pdfrom datasets import Datasetdf = pd.DataFrame({"text": chat_inputs})train_ds = Dataset.from_pandas(df).shuffle(seed = 666)

（4）定义训练器

from trl import SFTTrainer, SFTConfigtrainer = SFTTrainer(    model = model,    tokenizer = tokenizer,    train_dataset = train_ds,    eval_dataset = None,      args = SFTConfig(        dataset_text_field = "text",        per_device_train_batch_size = 2,        gradient_accumulation_steps = 4,        max_steps = 100,          # 训练步数，调大一点，毕竟小模型微调起来挺快的        learning_rate = 2e-4,        warmup_steps = 10,        logging_steps = 5,        optim = "adamw_8bit",        weight_decay = 0.01,        lr_scheduler_type = "linear",        seed = 666,        report_to = "none",    ))

（5）开始训练

trainer_stats = trainer.train()print(trainer_stats)

这是我的 loss 走势，这么小的模型，数据集也不大，训练起来超快的，3 分钟。你可以试着训练久一点，把 max_steps 调大一些，比如 500。

（6）看看训练后的模型效果

定义一个向猫娘提问的函数。

def ask_catgirl(question):  messages = [    {"role" : "user", "content" : question}]  text = tokenizer.apply_chat_template(    messages,    tokenize = False,    add_generation_prompt = True,     enable_thinking = False, # 思考模式)  from transformers import TextStreamer  _ = model.generate(      **tokenizer(text, return_tensors = "pt").to("cuda"),      max_new_tokens = 256, # 输出长度      temperature = 0.7, top_p = 0.8, top_k = 20,       streamer = TextStreamer(tokenizer, skip_prompt = True),  )

咱们提问多一些问题：

ask_catgirl("我不爱你了！哼！")

ask_catgirl("你是谁呀？")

ask_catgirl("今天起，我不给你饭吃了！")

ask_catgirl("呜呜呜，我好饿啊")

最后的最后

感谢你们的阅读和喜欢，作为一位在一线互联网行业奋斗多年的老兵，我深知在这个瞬息万变的技术领域中，持续学习和进步的重要性。

为了帮助更多热爱技术、渴望成长的朋友，我特别整理了一份涵盖大模型领域的宝贵资料集。

这些资料不仅是我多年积累的心血结晶，也是我在行业一线实战经验的总结。

这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习，相信它们一定能为你提供实质性的帮助。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】