2-轻松玩转书生·浦语大模型Demo

实战内容

这是书生·浦语2.0大模型趣味Demo的实践，内容包括了：

• 下载书生·浦语2 1.8B对话模型，并让其创作故事
• 部署训练营一期的优秀作品八戒-Chat-1.8B，并与其交互
• 部署智能体Lagent Demo并让其做数据分析题
• 部署灵笔XComposer2 ，并让其做图文创建和图片分析
  

环境准备阶段

在studio上创建开发机，其中选择镜像cuda11.7-conda,先选择0.1卡
建议，可以直接使用自己的ssh工具连接，方便操作。

实战1-部署InternLM2-Chat-1.8B

根据课程内容https://github.com/InternLM/Tutorial/blob/camp2/helloworld/hello_world.md 创建好conda虚拟环境后，启动命令行交互demo，让其穿着300个字的故事:

实战2-部署八戒-Chat-1.8B并交互

该实现使用tutorial中的下载模型的脚本下载一期的优秀作品；同时使用实战1的环境即可，暂不需要升级配置。

启动服务，将绑定6006端口，需要按照教程映射下本地端口到服务器的，就可以在本机访问服务器上的服务。
与应用进行交互，0.1卡生成比较慢，需要耐心等待。

实战3-部署Lagent

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。

该实验需要升级配置，先要停止当前的开发机，然后进行升级配置

再根据教程下载github工程，并在原环境上安装相应包，然后启动：
启动后，复用实战2的端口映射可以直接访问，然后断开了，重新操作一次即可。

启动的时候，加载模型比较慢，需要耐心等待。
在左边插件下面选择“数据分析”，然后输入：

请解方程 2*X=1360 之中 X 的结果

智能体就会开始帮你解决问题了。

实战4-部署灵笔并让其创作

浦语·灵笔2 是基于 书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色，总结起来其具有：

• 自由指令输入的图文写作能力： 浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。
• 准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。
• 杰出的综合能力： 浦语·灵笔2-7B 基于 书生·浦语2-7B 模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V 和 Gemini Pro。

在实验前，需要将配置升级成0.5卡。

图文创作

根据教程拉取github工程，安装相关组件，并从共享库中链接模型。

启动服务
启动后，依然运行在6006端口，可以使用之前的通道来直接访问
创作！
可以直接用demo的内容，也可以新命题创作。
创作过程：
创作结果：

还是让模型创作自己的命题比较考验TA:

根据《望庐山瀑布》写一篇200字左右的赏析文，并配图，配图请采用水墨画

ctrl-c，停止启动的服务，执行studio-smi确认显存释放

读图

服务启动，仍然绑定6006端口，使用前面的渠道直接访问

百度了一张小猫图来分析分析，分析结果比较简单，且有点失误，有待丰富。
原图：

图片理解结果：
再来挑战下：
仍需努力。

其他：使用命令和库下载hf上的模型和配置

使用 huggingface_hub python 包，下载 InternLM2-Chat-7B 的 config.json 文件到本地

使用 Hugging Face 官方提供的 huggingface-cli 命令行工具下载模型到指定路径：

结语

整个过程，建议直接使用0.5卡的，实验比较快一些。
通过这次实战，熟悉了studio平台的使用，熟悉了相应的工具，收获蛮大。