在InternStudio上部署Llama3

本文参考机智流：Llama3-Tutorial，感谢机智流提供的学习教程和免费算力！

创建Python环境

# 创建指定python环境
conda create -n llama3 python=3.10
conda activate llama3
# 安装依赖
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

下载模型

因为Internstudio每次重启都会删掉/root以外的文件，因此我们要在/root下创建model目录，来存放我们的模型，避免下次重启被删除

mkdir -p ~/model
cd ~/model

在InternStudio上模型已经存在了，为了节约磁盘空间，直接使用软链引用即可。

ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

部署

 首先下载由机智流提供的webui

cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial

安装 XTuner 时会自动安装其他依赖

cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .

运行 web_demo.py

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
  ~/model/Meta-Llama-3-8B-Instruct

运行成功之后，控制台会打印访问地址，这个地址是一个InternStudio上的内网地址，不能直接访问，需要映射出来，参考VScode 远程连接开发机，或者使用ssh映射，如下图：

注意将其中的端口号替换成8501

使用SSH时需要先配置ssh key，更多请参考InternStudio的用法

访问界面如下：

可以看到后台的打印，速度很快！

最后

实战营第二期开始报名了！扫码报名免费学，免费提供算力！