Llama3小白自学路（一、llama3部署）

写在前面：

24年五一期间，看到机智流举办的卷羊驼活动，碰巧也对其感兴趣，便以小白的身份报名参加卷军。在此感谢机智流的学习课堂以及A100的资源使用时长。

这也是我第一次写自我成长学习的博客，主要也算是对这些做一个知识总结和学习过程中的理解，欢迎一起讨论研究，争取做大做强，再创辉煌。

这里附上机智流的Llama3教程链接：

机智流Llama3超级课堂

web-demo部署：

其实，按照机智流的“傻瓜”式代码部署，基本就可以运行成功，这里还是先copy一下前人的智慧，然后我再做一点补充：

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

（这里主要是用conda创建虚拟环境，并激活llama3，安装一些必要的模块。创建虚拟环境的前提是需要安装conda）

mkdir -p ~/model
cd ~/model

（创建文件夹并进入）        

# 如果下面命令报错则使用 apt install git git-lfs -y
conda install git-lfs
git-lfs install

（个人感觉应该需要注意看一下linux环境是Ubuntu还是Redhat，即使用apt-get还是yum）

git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct

（git下载llama3的8B的权重模型）

cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial

 （git下载llama3的机智流的教程工具包，里面有一些数据集和web的展示程序）

cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .

（安装XTuner模块，关于是啥，后续另开一章再说）

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
  ~/model/Meta-Llama-3-8B-Instruct

（streamlit是一个开源的Python库，可以快速创建和分享美观的，交互式的Web应用。）

（使用8B的权重，运行web_demo，即可得到下面的界面）