轻松玩转书生·浦语大模型趣味 Demo

已于 2024-04-09 14:24:27 修改
阅读量2.1k 收藏 33
点赞数 60
文章标签： ai python
于 2024-04-04 04:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/justjavac_/article/details/137356505
版权
本文介绍了书生·浦语大模型实战营的第二期作业，涉及智能对话部署、八戒-Chat模型、Lagent智能体Demo和浦语·灵笔2的图文创作能力。通过实战演练，学员可以掌握InternLM2模型的部署和使用，以及多模态理解与创新应用。
摘要由CSDN通过智能技术生成

大家好，我是书生·浦语大模型实战营第二期的助教yanbo，接下来跟大家分享我的第二次作业笔记和作业：

玩转书生·浦语【智能对话】、【智能体解应用题】、【多模态理解及图文创作】等趣味 Demo

趣味 Demo 任务列表

本节课可以让同学们实践 4 个主要内容，分别是：

  • 部署 InternLM2-Chat-1.8B 模型进行智能对话

  • 部署实战营优秀作品 八戒-Chat-1.8B 模型

  • 通过 InternLM2-Chat-7B 运行 Lagent 智能体 Demo

  • 实践部署 浦语·灵笔2 模型

一.部署InternLM2-Chat-1.8B模型进行智能对话

1.环境配置

   配置InternLM2-Chat-1.8B所需环境

2.下载 InternLM2-Chat-1.8B 模型,并运行

python /root/demo/download_mini.py

python /root/demo/cli_demo.py

运行实例

作业：请创作一个 300 字的小故事

二.部署实战营优秀作品 八戒-Chat-1.8B 模型

八戒-Chat-1.8B、Chat-嬛嬛-1.8B、Mini-Horo-巧耳均是在第一期实战营中运用InternLM2-Chat-1.8B模型进行微调训练的优秀成果。其中，八戒-Chat-1.8B是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，进行全量微调得到的猪八戒聊天模型。作为Roleplay-with-XiYou子项目之一，八戒-Chat-1.8B能够以较低的训练成本达到不错的角色模仿能力，同时低部署条件能够为后续工作降低算力门槛。

具体模型链接如下：

获得库内demo文件

下载并运行bajie_download.py

打开网页,发现打不开(一直卡在如下界面):

以为是什么配置没到位,结果等一分钟就加载出来了

试了一下，还挺好玩的

三.通过 InternLM2-Chat-7B 运行 Lagent 智能体 Demo

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:

Lagent 的特性总结如下：

  • 流式输出：提供 stream_chat 接口作流式输出，本地就能演示酷炫的流式 Demo。

  • 接口统一，设计全面升级，提升拓展性，包括：

  • Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽，模型切换可以游刃有余；

  • Action: 简单的继承和装饰，即可打造自己个人的工具集，不论 InternLM 还是 GPT 均可适配；

  • Agent：与 Model 的输入接口保持一致，模型到智能体的蜕变只需一步，便捷各种 agent 的探索实现；

  • 文档全面升级，API 文档全覆盖。

使用 git 命令下载 Lagent 相关的代码库：

打开lagent路径下examples/internlm2_agent_web_demo_hf.py文件，修改一下模型路径后运行:

依旧是等待

加载好了就是这个样子(出现对话框)

请解方程 2*X=1360 之中 X 的结果

逻辑推理能力也可以

说出一个有两个整实数解的一元二次方程，并写出它的两个根

四.实践部署 浦语·灵笔2 模型

初步介绍 XComposer2 相关知识

浦语·灵笔2 是基于 书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色，总结起来其具有：

  • 自由指令输入的图文写作能力： 浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。

  • 准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。

  • 杰出的综合能力： 浦语·灵笔2-7B 基于 书生·浦语2-7B 模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V 和 Gemini Pro。

接下来我们试下图文写作和图片理解

配置环境,下载相关资源:

突然发现版本冲突了,降级一下hf_hub

降级了也不行,再升回来:(

大家好，我是书生·浦语大模型实战营第二期的助教yanbo，接下来跟大家分享我的第二次作业笔记和作业：

玩转书生·浦语【智能对话】、【智能体解应用题】、【多模态理解及图文创作】等趣味 Demo

趣味 Demo 任务列表

本节课可以让同学们实践 4 个主要内容，分别是：

  • 部署 InternLM2-Chat-1.8B 模型进行智能对话

  • 部署实战营优秀作品 八戒-Chat-1.8B 模型

  • 通过 InternLM2-Chat-7B 运行 Lagent 智能体 Demo

  • 实践部署 浦语·灵笔2 模型

一.部署InternLM2-Chat-1.8B模型进行智能对话

1.环境配置

配置InternLM2-Chat-1.8B所需环境

2.下载 InternLM2-Chat-1.8B 模型,并运行

python /root/demo/download_mini.py

python /root/demo/cli_demo.py

运行实例

作业：请创作一个 300 字的小故事

二.部署实战营优秀作品 八戒-Chat-1.8B 模型

八戒-Chat-1.8B、Chat-嬛嬛-1.8B、Mini-Horo-巧耳均是在第一期实战营中运用InternLM2-Chat-1.8B模型进行微调训练的优秀成果。其中，八戒-Chat-1.8B是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，进行全量微调得到的猪八戒聊天模型。作为Roleplay-with-XiYou子项目之一，八戒-Chat-1.8B能够以较低的训练成本达到不错的角色模仿能力，同时低部署条件能够为后续工作降低算力门槛。

具体模型链接如下：

获得库内demo文件

下载并运行bajie_download.py

打开网页,发现打不开(一直卡在如下界面):

以为是什么配置没到位,结果等一分钟就加载出来了

试了一下，还挺好玩的

三.通过 InternLM2-Chat-7B 运行 Lagent 智能体 Demo

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:

Lagent 的特性总结如下：

  • 流式输出：提供 stream_chat 接口作流式输出，本地就能演示酷炫的流式 Demo。

  • 接口统一，设计全面升级，提升拓展性，包括：

  • Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽，模型切换可以游刃有余；

  • Action: 简单的继承和装饰，即可打造自己个人的工具集，不论 InternLM 还是 GPT 均可适配；

  • Agent：与 Model 的输入接口保持一致，模型到智能体的蜕变只需一步，便捷各种 agent 的探索实现；

  • 文档全面升级，API 文档全覆盖。

使用 git 命令下载 Lagent 相关的代码库：

打开lagent路径下examples/internlm2_agent_web_demo_hf.py文件，修改一下模型路径后运行:

依旧是等待

加载好了就是这个样子(出现对话框)

添加图片注释，不超过 140 字（可选）

请解方程 2*X=1360 之中 X 的结果

逻辑推理能力也可以

说出一个有两个整实数解的一元二次方程，并写出它的两个根

四.实践部署 浦语·灵笔2 模型

初步介绍 XComposer2 相关知识

浦语·灵笔2 是基于 书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色，总结起来其具有：

  • 自由指令输入的图文写作能力： 浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。

  • 准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。

  • 杰出的综合能力： 浦语·灵笔2-7B 基于 书生·浦语2-7B 模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V 和 Gemini Pro。

接下来我们试下图文写作和图片理解

配置环境,下载相关资源:

突然发现版本冲突了,降级一下hf_hub

降级了也不行,再升回来:(

准备输入提示词

(根据以下标题：“中国水墨画：流动的诗意与东方美学”，创作长文章，字数不少于800字。请结合以下文本素材：

“水墨画是由水和墨调配成不同深浅的墨色所画出的画，是绘画的一种形式，更多时候，水墨画被视为中国传统绘画，也就是国画的代表。也称国画，中国画。墨水画是中国传统画之一。墨水是国画的起源，以笔墨运用的技法基础画成墨水画。线条中锋笔，侧锋笔，顺锋和逆锋，点染，擦，破墨，拨墨的技法。墨于水的变化分为五色。画成作品，题款，盖章。就是完整的墨水画作品。

基本的水墨画，仅有水与墨，黑与白色，但进阶的水墨画，也有工笔花鸟画，色彩缤纷。后者有时也称为彩墨画。在中国画中，以中国画特有的材料之一，墨为主要原料加以清水的多少引为浓墨、淡墨、干墨、湿墨、焦墨等，画出不同浓淡（黑、白、灰）层次。别有一番韵味称为“墨韵”。而形成水墨为主的一种绘画形式。”)

url界面

生成的作业

promoting得好，画也不错

然后再试下图片理解能力

我上传了"最后的晚餐"一图

它直接能识别出这幅画,而不是对其进行简单的描述.

相关链接分享:

课程文档：https://github.com/InternLM/Tutorial/blob/camp2/helloworld/hello_world.md 课程视频：https://www.bilibili.com/video/BV1AH4y1H78d/ 课程作业：https://github.com/InternLM/Tutorial/blob/camp2/helloworld/homework.md

觉得不错欢迎 Star https://github.com/InternLM/InternLM

justpython_
关注
【第 2 节】轻松玩转书生·浦语大模型趣味 Demo
熊猫小妖的AI世界
04-17 984
1.2.1 什么是大模型？大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如 Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。
【InternLM实战营第二期02笔记】轻松玩转书生浦语大模型趣味Demo
w626394316的博客
04-30 678
Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。后，（会有较长的加载时间）勾上数据分析，其他的选项不要选择，进行计算方面的 Demo 对话，即完成本章节实战。Agent：与 Model 的输入接口保持一致，模型到智能体的蜕变只需一步，便捷各种 agent 的探索实现；
ch2-轻松玩转书生浦语大模型趣味Demo
fangsfdavid的博客
02-13 429
ch2-轻松玩转书生浦语大模型趣味Demo
轻松玩转书生·浦语大模型趣味 Demo实战教程
m0_51156601的博客
03-05 1084
书生·浦语的趣味demo实践全部过程记录
InternLM春节训练营笔记- L2轻松玩转书生浦语大模型趣味Demo
weixin_50163306的博客
02-12 796
目录1. 大模型及InternLM模型介绍2. InternLM-Chat-7B 智能对话Demo3. Lagent 只能体工具调用Demo4. 浦语灵笔图文创作理解Demo---------------------------------------------------------------------------------------------------------------------------------1. 大模型及InternLM模型介绍1.1 什么是大模型大模型：人工智能领域中
轻松玩转书生·浦语大模型趣味Demo
shengweiit的博客
01-06 972
人工智能领域中 参数数量巨大 拥有庞大计算能力和参数规模的模型利用大量数据进行训练拥有数十亿甚至数千亿个参数模型在各种任务重展现出惊人的性能通过单一代码库，InternLM支持在拥有数千个GPU的大型集群上进行预训练，并在单个GPU上进行微调，同时实现了卓越的性能优化。在1024个GPU上训练时，InternLM可以实现90%的加速效率。利用数万亿高质量token进行训练，建立了一个强大的知识库支持8K token的上下文窗口长度，使得输入序列更长并增强了推理能力。
二、轻松玩转书生·浦语大模型趣味 Demo
厚积而薄发
04-28 978
八戒-Chat-1.8B、Chat-嬛嬛-1.8B、Mini-Horo-巧耳 均是在第一期实战营中运用 InternLM2-Chat-1.8B 模型进行微调训练的优秀成果。其中，八戒-Chat-1.8B 是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，进行全量微调得到的猪八戒聊天模型。作为 Roleplay-with-XiYou 子项目之一，八戒-Chat-1.8B 能够以较低的训练成本达到不错的角色模仿能力，同时低部署条件能够为后续工作降低算力门槛。
书生·浦语大模型第二课
03-04
根据提供的信息，“书生·浦语大模型第二课”似乎是指一次课程或者教学活动的内容，主要涉及“浦语大模型”的相关内容。虽然提供的信息较为有限，但从这些线索中，我们可以推测出这可能是一次关于自然语言处理（NLP...
书生浦语大模型实战营微调部署至OpenXlab.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
Tcl lnit error: Can’t find a usable init.tcl in the following directories 问题解决
最新发布
梦想闹钟
09-15 205
实际研究后发现，其实py2exe已经把打包需要的lib放在dist文件夹下了，但是打包后的程序运行后却没有去lib下找，而是去找系统自带的环境变量里找，所以找不到。这个问题出现在我用py2exe打包了一个包含tkinter的图形化界面，在当前电脑上运行无问题，在移动到新电脑上后提示报错、getcwd用于获取当前工作目录绝对路径，在设置环境的变量的时候它用的是绝对路径-所以也导致了在当前电脑上能用而移动后不能用。解决方法是在你的程序里重新设置下环境变量，而且是用相对路径的形式。
Python办公自动化案例（二）：对比两个Excel数据内容并标出不同
衍生星球的博客
09-14 263
在数据处理和分析的日常工作中，我们经常需要比较两个Excel文件的差异。这可能是为了验证数据的一致性、检查数据的准确性，或者在版本控制中追踪更改。手动比较这些文件不仅耗时，而且容易出错。幸运的是，Python的openpyxl库提供了一种自动化这一过程的方法。
JUC从实战到源码：中断机制与API实现
qq_43843951的博客
09-12 1123
在Java中，线程中断是一种机制，用于通知线程应该停止当前正在执行的任务。中断通常用于协同线程之间的合作，以便让线程在适当的时候终止其工作，尤其是在长时间运行的任务或阻塞操作中。通过学了多线程以及synchronized的相关知识，接下来就到了学习线程中断知识。
Python——俄罗斯方块
2302_81225694的博客
09-14 541
这段代码使用了Pygame库来实现游戏的图形界面，通过键盘控制方块的移动和旋转。游戏循环不断更新方块的位置和网格状态，并绘制在屏幕上。在方块达到底部或无法继续移动时，判断是否有满行，并清除满行的方块。游戏会根据方块的状态和移动情况不断更新，直到无法继续下落为止，游戏结束。俄罗斯方块游戏是一款经典的益智游戏，通常使用编程语言Python来实现。请注意，这只是一个简单的示例，可能还有一些功能和优化方面的改进。您可以根据自己的需求进行修改和扩展。
JIT编译器
Flying_Fish_roe的博客
09-11 597
JIT（Just-In-Time，实时编译）编译器是 Java 虚拟机（JVM）中的一项重要技术，用于将 Java 字节码（Bytecode）在运行时动态编译为机器码。Java 程序最初通过编译器（如javac）将源代码编译为字节码，字节码在 JVM 中解释执行。然而，由于解释执行每次都需要逐条翻译字节码指令为机器指令，这种方式效率较低。为了解决性能问题，JIT 编译器在程序运行时将热点代码编译为机器码，从而提高运行效率。JIT 编译器是 Java“编译型”和“解释型”语言的结合特性的重要体现之一。
python-游戏自动化（二）（OpenCV图像运用基础）
qiqi776532的博客
09-11 1270
图像二值化可以简单理解成，就是把图像转换成黑白两种颜色（一般用于提取图像特征），二值化图像：只有两种颜色，黑和白，255白色，0黑色。结合前面学习的彩色图像和灰度图像，一起来做个对比。彩色图像：三个通道0-255，0-255，0-255，所以可以有2^24位空间灰度图像：一个通道0-255,所以有256种颜色二值图像：只有两种颜色，黑和白，255白色，0黑色图像匹配，就是从一个图像中找出想要的小图像，打个比方：就好比拿着老师的头像寸照，然后去师的大学毕业照里面一个个的头像对照然后将老师找出来。
JS笔记
2201_76100326的博客
09-11 892
javascript中的对象分为3种：自定义对象，内置对象，浏览器对象 JavaScript 中的所有事物都是对象：字符串、数字、数组、日期，等等。在 JavaScript 中，对象是拥有属性和方法的数据。属性是与对象相关的值。方法是能够在对象上执行的动作。.关键词（）
Python基础
flash的博客
09-06 1573
newline=''是一个重要的参数，用于防止在写入文件时在不同的操作系统上产生不必要的空行。将 json 转化为 python 对象，存放在内存中。python 文件名 参数1 参数2。
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值