第一节Llama 3 本地 Web Demo 部署

实践教程（InternStudio 版）

第一节	Llama 3 本地 Web Demo 部署

环境配置

conda create -n llama3 python=3.10

conda activate llama3

conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

下载模型

新建文件夹

mkdir -p ~/model

cd ~/model

从OpenXLab中获取权重（开发机中不需要使用此步）

安装 git-lfs 依赖

# 如果下面命令报错则使用 apt install git git-lfs -y

conda install git-lfs

git-lfs install

下载模型 （InternStudio 中不建议执行这一步）

git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct

或者软链接 InternStudio 中的模型

ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

注意，如果软链接过，第二遍以后再做会显示只读错误，直接忽略该提示，继续下面

Web Demo 部署

cd ~

git clone https://github.com/SmartFlowAI/Llama3-Tutorial

安装 XTuner 时会自动安装其他依赖

cd ~

git clone -b v0.1.18 https://github.com/InternLM/XTuner

cd XTuner

pip install -e .

运行 web_demo.py

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \

  ~/model/Meta-Llama-3-8B-Instruct

实际用localhost:端口口访问

可能遇到的问题

本地访问远程服务器streamlit web失败 （远程端口未转发至本地）