书生·浦语大模型实战训练营第二期第二节课堂笔记及作业

本文详细介绍了实战部署InternLM2-Chat-1.8B和八戒-Chat-1.8B模型的过程,涉及模型下载、ClientDemo和WebDemo部署,以及使用Streamlit构建Web应用。还提到SSH配置和高级模型如Lagent智能体Demo与InternLM-Xcomposer2的部署步骤。
摘要由CSDN通过智能技术生成

第二节主要介绍了四个实战任务。

一、实战部署InternLM2-Chat-1.8B

创建Intern Studio开发机,通过Modelscope下载InternLM2-Chat-1.8B模型,完成Client Demo的部署和交互。训练营的教程写的十分详尽和通俗,一步步跟着做即可。第二节课的教程仓库

 唯一需要注意的是:当我们创建了开发机后,左侧文件夹栏显示路径在/下,这里的/其实是root用户文件下,一般在ubuntu系统的命令行以~指示,我们可以打开terminal得以验证。根据开发机自带的提示,我们在这里创建的文件在重启开发机前后不会被重置。

加载模型,与之交互。这里我作为User的输入是:“请创作一个301字的小故事”。结果如下;

二、实战部署往届优秀作品 八戒-Chat-1.8B

通过OpenXLab部署XiYou系列的八戒-Chat-1.8B模型,完成Web Demo的部署和交互

(1)首先需要从github上下载八戒模型

(2)运行

这里说一下:streamlit是基于python的用于构建可视化web的框架。

streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006

此外,教程中ssh连接后需要再powershell中输入开发机的ssh密码。我输入几次都是permission denied。最终也没有解决。转而在InternStudio的首页有一个配置ssh,在这里添加了自己的公钥。再连接,就可以直接在powershell连接上了,并且没有要求我输入开发机密码。

(在我的理解中我的主机区连接开发机应该也需要输入开发机密码?这里是配置ssh公钥后,已经在开发机里写入了我的主机公钥,所以不需要输入密码?还望清楚的大佬指教)

成功连接后,在浏览器中打开本机地址的6006端口即可开启八戒交互式界面。效果如下;

以下两个任务需要开启 30% A100 权限后才可开启此章节,我暂时还没有权限,未完待续

三、实战进阶 运行Lagent智能体 Demo

实战算力升级后,已InternLM2-Chat-7B为基础,运行开源框架Lagent的智能体Demo

四、实战进阶 灵笔InternLM-Xcomposer2

浅尝多模态时间,通过InternLM-XComposer2 模型实现更加强大的图文生成式写作

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值