llama3本地云部署

1、环境配置

#建立conda环境
conda create -n llama3 python=3.10
#激活conda环境
conda activate llama3
#安装相关的包
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

2、下载模型

#新建文件夹
mkdir -p ~/model
cd ~/model

#从OpenXLab中获取权重（开发机中不需要使用此步）
#安装 git-lfs 依赖
# 如果下面命令报错则使用 apt install git git-lfs -y
conda install git-lfs
git-lfs install

#下载模型 （InternStudio 中不建议执行这一步）

git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct

3.Web Demo 部署

cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial

安装 XTuner 时会自动安装其他依赖
cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .

出现gpu不足的情况：1不运行，改为2

1、

#运行 web_demo.py
streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
  ~/model/Meta-Llama-3-8B-Instruct

2、

streamlit run ~/Llama3-Tutorial/tools/internstudio_quant_web_demo.py\
>  ~/model/Meta-Llama-3-8B-Instruct