使用llama factory对语言模型微调，重塑自我认知，并部署于ollama上

本文记录了从环境部署到微调模型、效果测试并部署的全过程。

一 环境

        如果使用autodl租赁服务器则不需要如下步骤，但是请注意llama_factory需要python、cuda等版本满足：

首先请确报你已经安装好了conda工具，在命令行中键入如下指令创建虚拟环境

conda create -n llama_factory python=3.10 -y

创建后激活新环境

conda activate llama_factory

安装cuda pytorch等核心工具

conda install pytorch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 pytorch-cuda=11.8 -c pytorch -c nvidia
pip install  torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

如安装其他版本，请注意对应关系

二 工具与模型

安装git-lfs

sudo apt-get install git-lfs

然后验证是否安装成功，下载模型

git lfs install

git clone https://www.modelscope.cn/qwen/Qwen2-0.5B-Instruct.git

安装llama factory

git clone https://github.com/hiyouga/LLaMA-Factory.git

cd LLaMA-Factory

安装依赖

pip install -e .[metrics,modelscope,qwen]
pip install -r requirements.txt

启动webui

CUDA_VISIBLE_DEVICES=0 python src/webui.py  # 指定一块 GPU 启动网页服务

http://0.0.0.0:7860通过该地址进入，autodl下载autodl ssh隧道工具

面板如下

参数的说明：

三 微调

进入llama-factory/data目录
新建一个json文件起名为my_data_zh.json

按下面的格式填入你的训练数据后保存即可，条数不限哦
数据集参数说明：
instruction：该数据的说明，比如“你是谁”这种问题就属于“自我介绍”，“你吃屎么”这种问题属于“业务咨询”
input：向他提的问题
output：他应该回答的内容

[
    {
    "instruction": "谁是你的开发者？你叫什么名字？",
    "input": "",
    "output": "您好，我叫xxx，是由xxx开发的人工智能助手。我旨在帮助用户解决问题和提供支持。"
  },
  {
    "instruction": "请问你的名字及开发人员？",
    "input": "",
    "output": "您好，我名叫xxx，由xxx研发。我的主要职责是回答用户的疑问并提供相关支持。"
  },
]

注册数据集

首先找到数据集的管理文件，打开llamafactory/data目录下的dataset_info.json文件

添加一条数据

	"a_my_data": { 
 	  		"file_name": "my_data_zh.json"
	},

然后在面板中选择这条你的数据

模型名称：选择你之前下载的模型。这里将决定采用何种网络结构解析模型。
模型路径：这里就是上文下载的模型文件目录。
微调方法：这里可选择lora、full、freeze三种模式，普通用户请选择lora。
full：全量模型训练。该模型将消耗大量显存。以8B模型为例，8b等于80亿参数，占用显存约8*2+8 = 24G，所以普通显卡就不要考虑这个模式了
lora：微调模型训练：这个占用显存较小，经测试4080显卡可以跑起来
数据集：因为我们刚才注册了自己的数据，所以这里点框后就会弹出数据列表，选中我们的自定义数据即可。注意这里允许数据集多选。其他设置视你的实际情况而定，最主要的设置已经完成了。
接下来拉到页面最下方，点击“开始”按钮就可以开始训练了

然后进行评估试用和导出

安装 llama.cpp

git clone https://github.com/ggerganov/llama.cpp

编译

cd llama.cpp
make

转换

python convert_hf_to_gguf.py /root/autodl-tmp/qwen/qwen2051

对FP16模型进行4-bit量化(可选），如果希望精简模型的话

./quantize ./models/your_model/xxx ./models/your_model/xxx q4_0

三 下载ollama

访问ollama.com，下载Ollama客户端，下载Windows版本，如果你的电脑是MacOs,下载对应的版本即可。

安装完成后，打开Windows命令窗口，输入ollama，出现如下提示，说明安装成功，可以使用了：

导入你的模型：

在cmd中，cd 你的模型所在目录

创建一个Modelfile文件内容如下：

# FROM 指定 GGUF 文件的路径
FROM D:/AI/Download/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf

导入你的模型

ollama create qwen05 -f ./Modelfile

查看当前模型目录

ollama list

然后运行

ollama qwen05

使用postman测试api端口