Llama3学习

1、完成Web Demo部署

根据学习文档https://github.com/SmartFlowAI/Llama3-Tutorial

配置环境下载依赖，再运行web_demo.py

 

更改端口号在浏览器打开即可

 

2、 使用 XTuner 完成小助手认知微调

接上节环境已配置好，把仓库克隆过来

在gdata.py文件里把可以更改名字为“机智流”

再激活llama3的conda环境，并运行学习文档中脚本

在personal_assistant.json文件里找到生成结果

 

然后使用XTuner进行微调

1）pip验证XTuner被正确安装

2）再复制路径进行微调

使用上节课中的streamlit可以和llama3对话（输入参数是微调后的路径）

3、使用 LMDeploy 部署 Llama 3 模型

安装lmdeploy环境并激活

 使用LMDeploy Chat CLI工具（直接粘贴文档命令到终端）

进行W4A16量化，再用Chat功能运行量化后的模型

 

通过文档命令启动API服务器，推理Meta-Llama-3-8B-Instruct模型

将端口号替换成自己的

新建一个命令行客户端与模型对话

 

新建VS终端并激活环境

 

使用Gradio作为前端，启动网页客户端，打开浏览器就可以和模型对话了