基于autodl与llama-factory部署llama3-8B开源大模型

一、注册与购买autodl实例

        注册了autodl账号以后，我们便可以在网站首页看到具体的实例信息，同时能够观察其具体的系统盘与数据盘以及缓存大小，对于我们即将微调的llama3开源大模型来说，通过资料的查询了解，我们只需要24G显存就可以实现对llama3的部署与微调，因此我们选择了一张RTX 4090D显卡（显存为24GB）。

购买了实例后，具体界面如下，打开实例后的界面如下，我们具体使用其自带的JupyterLab实现我们的具体部署与微调。

二、下载安装llama-factory

在终端页面输入conda activate LLaMA-Factory进行llama-factory的虚拟环境的安装，llama-factory提供了很多种微调方式，并且能够支持市面上近乎所有的已有开源大模型的部署与微调工作，因此我们安装该环境。

安装指令：（从其github官网获取）

git clone https://github.com/hiyouga/LLaMA-Factory.git

cd LLaMA-Factory 

pip install -e .[metrics]  # 下载全部依赖

下载完成后的界面如下：

三、安装大模型llama3-8B

我们利用魔搭平台提供的镜像进行下载，可以将这段代码导入至ipykernel，然后直接运行。

# pip install modelscope
import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os

model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct', cache_dir='/root/autodl-tmp', revision='master')

至此，Meta-Llama-3-8B-Instruct完整模型安装完毕，安装完后的文件格式应该如下图所示。

至此，模型的部署全部结束，进一步就是对其实现微调。