参考文档:Tutorial/helloworld/hello_world.md at camp2 · InternLM/Tutorial · GitHub
1.实战部署InternLM2-Chat-1.8B;
1.1配置基础环境,创建开发机配置开发机系统,进入开发机后,在 terminal
中输入环境配置命令
配置完成后,进入到新创建的 conda
环境之中
完成环境包的安装
1.2下载 InternLM2-Chat-1.8B
模型
1.3 运行 cli_demo
输入命令,执行 Demo 程序:
conda activate demo python /root/demo/cli_demo.py
等待模型加载完成,键入内容,如下所示:
对话:
300 字的小故事:
———————————————————————————————————————————
2.实战部署优秀作品八戒-chat-1.8B
参考链接:魔搭社区
2.1配置基础环境
2.2下载运行Chat-八戒Demo
待程序下载完成后,输入运行命令:streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006
2.3程序运行的同时,对端口环境配置本地 PowerShell
。使用快捷键组合 Windows + R
(Windows 即开始菜单键)打开指令界面,并输入命令,按下回车键。
# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374
打开 http://127.0.0.1:6006 后,等待加载完成即可进行对话,键入内容示例如下:
———————————————————————————————————————————
3.实战进阶运行Lagent智能体Demo;
Lagent 是一个轻量级、开源的基于大语言模型的智能体(agent)框架,支持用户快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。
流式输出:提供 stream_chat 接口作流式输出,本地就能演示酷炫的流式 Demo。
接口统一,设计全面升级,提升拓展性
3.1配置基础环境
3.2使用 Lagent
运行 InternLM2-Chat-7B
模型为内核的智能体
这是第一次运行结果,出现的界面与预期的不符合,我分析的原因可能是本地端口环境配置本地 PowerShell这个步骤没有操作好,因为在终端输入命令后运行不出来。正确运行在作业中展示出来。
4.实战进阶InternLM-XComposer2
浦语·灵笔2
是基于 书生·浦语2
大语言模型研发的突破性的图文多模态大模型,具有非凡的图文写作和图像理解能力,在多种应用场景表现出色。
4.1配置基础环境
4.2图文写作实战
4.3图片理解实战
(1)部署InternLM-XComposer2
(2)浅尝视觉问答和图文生成Demo