目录
速览:这边笔记将会带大家快速跑一遍baseline,再带大家精读一下baseline。
参考教程:Datawhale
一、环境配置
首先我们配置环境,这里笔者使用阿里云的PAI-DSW服务,可以申请试用,可获得 5000算力时!有效期3个月!开通方法可以参考Datawhale。
去到PAI-DSW创建一个PAI实例并打开:
打开后是这个界面:
二、Demo搭建!
2.1文件下载
我们可以用git将案例文件下来到服务器上:
点击终端出入以下命令后按回车:
git lfs install
git clone https://www.modelscope.cn/datasets/Datawhale/AICamp_yuan_baseline.git
2.2安装前端工具
在终端输入以下命令,回车运行:
pip install streamlit==1.24.0
之后等待依赖安装成功即可。
2.3启动Demo
在终端输入以下命令,回车运行:
streamlit run AICamp_yuan_baseline/Task\ 1:零基础玩转源大模型/web_demo_2b.py --server.address 127.0.0.1 --server.port 6007
这个Demo是用Streamlit搭建的前端页面,Streamlit简单易上手~可以快速搭建自己的web页面,它还有如下特点:
实时推理
将大模型部署在后台服务器上,通过 Streamlit 提供的接口,用户可以输入数据,实时获取模型的推理结果。
交互式调参
使用 Streamlit 的滑块、选择框等组件,允许用户动态调整大模型的参数(如温度、最大生成长度等),并实时查看输出结果。
OK,现在我们点击链接,跳转到新页面:
等待后台模型下载完成之后就可以对话啦!
我们让他帮忙写一道leetcode: