llama-factory 系列教程 (五)，SFT 微调后的模型，结合langchain进行推理

背景

微调了一个 glm4-9B的大模型。微调后得到Lora权重，部署成vllm 的API，然后通过langchain接入完成相关任务的推理。

关于SFT 微调模型的部分就不做介绍了，大家可以参考前面的文章，将自己的数据集 在 Llamafactory 的 dataset_info.json 里进行注册。

llamafactory-cli webui
通过可视化界面进行微调，或者拿到预览的命令，在命令行中运行。

llamafactory API 部署模型

使用 llamafactory 训练模型，再使用llamafactory 部署API 简单又省事，就是慢了一点，但很方便。

如果你想追求极致的推理速度，建议你阅读这篇文章：llama-factory SFT 系列教程 (四)，lora sft 微调后，使用vllm加速推理

运行下述代码，完成API部署：

CUDA_VISIBLE_DEVICES=0 API_PORT=8000 llamafactory-cli api \
    --model_name_or_path /home/root/.cache/modelscope/hub/ZhipuAI/glm-4-9b-chat \
    --adapter_name_or_path ./saves/GLM-4-9B-Chat/lora/train_2024-07-30-15-53-random-500 \
    --template glm4 \
    --finetuning_type lora \
    --infer_backend vllm \
    --vllm_enforce_eager

adapter_name_or_path：lora 插件地址；
建议使用vllm进行部署，huggingface 容易报错。

langchain

from datasets import load_dataset
from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_core.output_parsers import StrOutputParser

parser = StrOutputParser()

port = 8000
model = ChatOpenAI(
    api_key="0",
    base_url="http://localhost:{}/v1".format(os.environ.get("API_PORT", 8000)),
    temperature=0
)

加载本地的json 文件，作为推理用的数据集：

valid_dataset = load_dataset(
    "json",
    data_files="../valid.json"
)["train"]

preds = []
for item in tqdm(valid_dataset):
    # 修改 messages， 填入自己的数据即可
    messages = [
        SystemMessage(content=item['instruction']),
        HumanMessage(content=item['input']),
    ]
    chain = model | parser
    pred = chain.invoke(messages).strip()
    preds.append(pred)

如上述所示，即可轻松实现利用 langchain 结合训练后的模型，完成推理任务。

参考资料

• 非常建议阅读： LLaMA-Factory QuickStart. https://zhuanlan.zhihu.com/p/695287607
  因为 llamfactory github 的官方文档写的太简短了，上述知乎的文档写的很细。