大模型学习之书生·浦语大模型2——趣味Demo

已于 2024-01-07 18:26:29 修改
阅读量536 收藏 7
点赞数 6
分类专栏： # 书生·浦语大模型 文章标签： 大模型 书生浦语 llm InternLM Lagent 多模态
于 2024-01-07 16:39:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uncle_ll/article/details/135440530
版权

文章目录


在这里插入图片描述

Demo效果

在这里插入图片描述

目录

在这里插入图片描述

大模型及InternLM模型介绍

在这里插入图片描述
在这里插入图片描述

  • InterLM是开源的轻量级训练框架
    • InterLM-7B
    • InterLM-20B
  • Lagent是智能体框架
  • 浦语·灵笔是视觉·语言大模型

InterLM-Chat-7B智能对话Demo

在这里插入图片描述

  • InterLM-7B
    • 70亿参数
    • 数万亿token进行训练
    • 支持8K token

在这里插入图片描述

Lagent智能体工具调用Demo

在这里插入图片描述
在这里插入图片描述

浦语·灵笔图文创作理解Demo

在这里插入图片描述

  • 图文理解
  • 创作能力
  • 海量多模态数据
  • 对话能力

在这里插入图片描述

通用环境配置

在这里插入图片描述

  • pip镜像源
  • conda镜像源

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 模型下载
    • huggface
    • openXlab
    • modelscope

实践

智能对话Demo

1 创建开发机

在这里插入图片描述

2 进入开发机并创建环境及安装依赖

在这里插入图片描述

3 模型下载

在这里插入图片描述

4 代码准备

在这里插入图片描述

  • 修改web_demo.py模型文件路径
5 终端运行

在这里插入图片描述

  • 新建cli_demo.py
  • bash切换到虚拟环境后再运行

在这里插入图片描述
在这里插入图片描述

6 web demo运行

  • 先配置本地端口
    在这里插入图片描述

  • 将rsa-key填到开发机配置那块
    在这里插入图片描述

  • 然后再在终端运行
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

Lagent智能体工具调用Demo

1 环境安装

与上一个demo类似
在这里插入图片描述

2 模型下载

与之前的类似

3 Lagent安装

在这里插入图片描述
使用源码安装

4 修改代码

在这里插入图片描述

  • 整个替换
  • 主要是修改模型文件
5 demo运行

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 选择internlm后等待加载模型，并选择相应的插件
  • 然后开始提问
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

浦语·灵笔图文理解创作Demo

机器GPU需要升级大内存

1 环境安装

在这里插入图片描述
在这里插入图片描述

  • 机器需要40g，可以升级配置，或者新建开发机
2 创建虚拟环境

在这里插入图片描述

  • pip安装依赖
pip install transformers==4.33.1 timm==0.4.12 sentencepiece==0.1.99 gradio==3.44.4 markdown2==2.4.10 xlsxwriter==3.1.2 einops accelerate
3 模型下载

在这里插入图片描述

  • 多模态模型 InterLM-XComposer
4 代码准备

在这里插入图片描述

5 终端运行Demo

在这里插入图片描述在这里插入图片描述

  • 需要根据自己实际情况将GPU参数进行修改
  • 加载vit模型比较耗时
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述
若出现乱码，请进行更新代码

demo.launch(share=True, server_name="0.0.0.0", server_port=args.port, root_path=f'/proxy/{args.port}/')

在这里插入图片描述

  • 自动写文章

  • 自动配图并插图
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 可以替换图片或者增加图片

  • 可以将文章进行保存，markdown的格式

  • 最上面是一些参数配置

在这里插入图片描述
多模态对话，问图片里的内容相关。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

书名并不对，存在幻觉问题。

参考

uncle_ll
关注
  • 6
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
android录音笔demo.rar
07-30
android录音笔demo.rar,太多无法一一验证是否可用，程序如果跑不起来需要自调，部分代码功能进行参考学习。
轻松玩转书生·浦语大模型
George_han的博客
01-07 515
InternLM(书生·浦语)是一个轻量的开源基于大模型的智能体。通过Lagent框架，可以快速将大语言模型转变为多种类型的智能体。InternLM-7B包含一个拥有70亿参数的基础模型和一个为实际场景量身定制的对话模型。该模型具有强大的知识库和推理能力。
书生·浦语：大模型全链路开源体系（二）——InternLM、Lagent、浦语·灵笔Demo调用
2301_77286822的博客
01-06 1455
pip、conda换源：设置pip默认源，避免每次下载依赖包都要加上一长串的国内源conda换源：镜像站提供了 Anaconda 仓库与第三方源（conda-forge、msys2、pytorch 等），各系统都可以通过修改用户目录下的.condarc文件来使用镜像站。不同系统下的.condarcLinuxWindows.condarc更多详细内容可移步至查看。
【InternLM 大模型实战】第一课
weixin_42567071的博客
01-04 1080
大模型受到广泛关注，chatgpt发布后两个月内月活破亿。大模型是通向人工智能的关键，是从专用模型到通用模型的重要途径。专用模型是针对单一任务，而通用大模型是则是面向多任务，多模态，是面向更高阶的智能的潜在途径。
[书生·浦语大模型实战营]——基于 InternLM 和 LangChain 搭建你的知识库
qq_41776136的博客
01-09 1013
llm.predict("你是谁")构建检索问答链，还需要构建一个 Prompt Template，该 Template 其实基于一个带变量的字符串，在检索之后，LangChain 会将检索到的相关文档片段填入到 Template 的变量中，从而实现带知识的 Prompt 构建。from langchain . prompts import PromptTemplate # 我们所构造的 Prompt 模板 template = """使用以下上下文来回答用户的问题。如果你不知道答案，就说你不知道。
InterLM代码解析
银晗的学习博客
12-04 1092
这个条件 mask_cond < (mask_cond + 1).view(mask.size(-1), 1) 创建了一个下三角为True，上三角为False的条件掩码。在注意力计算中，当掩码中某个位置的元素为负无穷小时，经过softmax计算后，该位置对应的注意力权重会趋近于0，即忽略该位置的信息。因此，使用反转的掩码来填充掩码张量中的元素是为了在注意力计算中实现对未来信息的屏蔽。函数将这个全零张量和当前的mask进行拼接，以便将过去的信息与当前的信息合并在一起，形成一个更大的掩码张量。
大模型学习之书生·浦语大模型笔记汇总
uncle_ll的博客
01-30 611
笔记汇总
书生·浦语大语言模型——趣味Demo
Yogffee的博客
01-30 400
概念：人工智能领域中参数量巨大、拥有庞大计算能力和参数规模的模型特点及应用：利用大量数据进行训练；拥有数十亿甚至数千亿个参数；模型在各种任务中展现出惊人的性能。
大模型实战营第二期——2. 浦语大模型趣味Demo
Castlehe的博客
02-08 753
大模型：参数规模大的模型，这个大的量级指的是：十亿甚至千亿以上的参数。
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生·浦语大模型第二课
03-04
书生·浦语大模型第二课
书生浦语大模型实战课 第二课作业（更新）
04-04
书生浦语大模型实战课 第二课作业（更新）
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
书生浦语大模型实战课（第二期） 第二课作业
04-04
书生浦语大模型实战课（第二期） 第二课作业
轻松玩转书生·浦语大模型趣味 Demo——学习笔记+实操作业
GAVIN的专栏
04-06 382
通过第二期课程《轻松玩转书生·浦语大模型趣味 Demo》的学习和实战过程的不断总结和交流，基本对大模型有了进一步深刻认识，按照课堂文档一步步操作体验感觉不错。中间有点小插曲、通过 PowerShell 配置端口映射时、密码粘贴三五次未成功，多次尝试后总算成功了。总结：通过几个实战操作、对于书生·浦语大模型有了深入了解、并深受启发。第一次未勾选“数据分析”第二次勾选“数据分析”
node-v18.18.2-headers.tar.xz
最新发布
05-20
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
node-v7.7.3-headers.tar.xz
05-20
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
使用C#,生成特定格式Word文档
05-20
Word文档的自动化生成，可以根据数据自动形成文档
国内大语言模型还有哪些？
06-06
国内目前比较知名的大型语言模型主要包括： 1. 百度的ERNIE（Enhanced Representation through Knowledge Integration） 2. 阿里巴巴的ALBERT（A Lite BERT） 3. 华为的GPT（Generative Pre-trained Transformer） 4. 腾讯的XLNet（eXtreme Language understanding NETwork） 5. 中科院计算所的GShard（Globally Shared Transformer） 这些模型都有着很强的自然语言处理能力，在各自的领域和场景中得到了广泛的应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

uncle_ll

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值