参加《Llama3五一超级课堂》

开源大模型技术如火如荼，趁着五一假期，报名参加了《Llama3五一超级课堂》，课程很赞，收获匪浅。

1、课程

该课程是由：机智流、Datawhale、ModelScope联合举办的，同时由书生·浦语社区 提供A100 的算力支持(InternStudio),实在是太赞了

GitHub - SmartFlowAI/Llama3-Tutorial: Llama3-Tutorial（XTuner、LMDeploy、OpenCompass）

2、第一节作业

是完成Llama 3 本地 Web Demo 部署。

1）首先是，创建conda环境

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

在书生·浦语站点上，执行脚本，速度真是飞快，比自己家里的台式机要快太多了。

2）然后，是下载/关联 大模型文件

ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

在书生·浦语站点上，无须下载，只要做一个软连接，就可以使用Llama3大模型，方便啊！

3）最后，运行web demo

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
  ~/model/Meta-Llama-3-8B-Instruct

刚开始运行，还报了Out Of Memory错误，

看着社区的提示，重新运行，一切正常

streamlit run ~/Llama3-Tutorial/tools/internstudio_quant_web_demo.py \ ~/model/Meta-Llama-3-8B-Instruct

以上，简单3步就完成了Llama3的运行了。