8G 显存玩转书生大模型 Demo-task2

最新推荐文章于 2024-10-10 14:22:51 发布
最新推荐文章于 2024-10-10 14:22:51 发布
阅读量122 收藏
点赞数 1
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/K12745316890z/article/details/142689431
版权

#书生浦语实战营

进阶任务（闯关不要求完成此任务）

  • 使用 LMDeploy 完成 InternLM-XComposer2-VL-1.8B 的部署，并完成一次图文理解对话，记录复现过程并截图。
  • 使用 LMDeploy 完成 InternVL2-2B 的部署，并完成一次图文理解对话，记录复现过程并截图。

开发机环境中运行streamlit 在本地6006端口

本地环境中连接自己的开发机（我的38818）

进入网页

K12745316890z
关注
书生大模型-基础岛2-8G 显存玩转书生大模型 Demo
WongChiang的博客
08-15 408
任务详情: https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/Demo/task.md。
InternLM Task-L1 8G显存玩转书生大模型Demo关卡
qq_58700285的博客
08-09 153
3、命令行输入python/root/demo/cli_demo.py完成InternLM2-Chat-1.8B模型部署。一、使用Cli-demo完成InternLM2模型部署，并生成300字小故事。1、创建开发机，接入VScode。等待模型加载完成，键入内容。
L1-8G 显存玩转书生大模型 Demo
Finnwestbrook的博客
07-30 165
运行时界面上会显示运行的时间，处理这一张图片并且生成描述的时间大概是8.4s，相比于用hf的transformer部署（867s）确实快了很多。输入示例内容，生成文字。本小节使用的图片来自。（不知道为啥是英文）
书生·浦语大模型实战营-8G 显存玩转书生大模型 Demo
qq_53999675的博客
08-13 598
实际测试结果如下图：在10%性能的A100上占用显存4876MB，推理时速度较慢，肉眼可见的逐字输出，并且输出的结论幻觉严重。
第三期书生大模型实战营（【基础岛】- 第2关 | 8G 显存玩转书生大模型 Demo ）
博客
07-28 1770
InternLM-XComposer2 是一款基于 InternLM2 的视觉语言大模型，其擅长自由形式的文本图像合成和理解。其主要特点包括：自由形式的交错文本图像合成：InternLM-XComposer2 可以根据大纲、详细文本要求和参考图像等不同输入，生成连贯且上下文相关，具有交错图像和文本的文章，从而实现高度可定制的内容创建。
《书生大模型实战营第3期》基础岛 第2关 ：8G 显存玩转书生大模型 Demo
shiter编写程序的艺术
08-08 973
我们首先来为 Demo 创建一个可用的环境。# 创建环境# 激活环境# 安装 torch# 安装其他依赖。
基础岛第2关：8G 显存玩转书生大模型
晓飞趋势
08-10 855
InternLM-XComposer2 是一款基于 InternLM2 的视觉语言大模型，其擅长自由形式的文本图像合成和理解。其主要特点包括：自由形式的交错文本图像合成：InternLM-XComposer2 可以根据大纲、详细文本要求和参考图像等不同输入，生成连贯且上下文相关，具有交错图像和文本的文章，从而实现高度可定制的内容创建。
书生大模型实战营第三期闯关作业打卡（8G 显存玩转书生大模型 Demo）
weixin_69291678的博客
08-13 775
文档：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/Demo/readme.md。作业：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/Demo/task.md。#创建环境conda create -n demo python=3.10 -y。安装环境需要好一会儿，需要耐心等待。想升级开发机配置，但发现 30%A100 还没能解锁。， 等待一会儿， 就可以看到demo了。
书生大模型基础岛-第二关：8G 显存玩转书生大模型 Demo
weixin_57128596的博客
08-01 190
【代码】书生大模型基础岛-第二关：8G 显存玩转书生大模型 Demo。
0028-极智AI-解读算一算大模型显存占用-个人笔记
08-28
0028_极智AI_解读算一算大模型显存占用-个人笔记
华硕RX580-8G-核心1411-显存2000-显存镁光
02-10
GPUZ备份的，用的上拿走，不要修改BIOS，很容易黑的。...2. 各品牌之间大部分是可以互刷的，但不推荐，慎刷！ 3. 显存大小必须一致，VBIOS都对显存做了校验 4. 显存产商必须一致！刷似乎可以刷入（没试过），但容易黑卡
8G显存一键训练，解锁Llama2等隐藏能力！XTuner带你玩转大模型
u013250861的博客
10-13 388
自 ChatGPT 发布以来，大模型的强大让人们看见了通用人工智能的曙光，各个科技大厂也纷纷开源自家的大语言模型。然而，大模型也意味着高昂的硬件成本，让不少平民玩家望而却步。为了让大模型走入千家万户，赋能百业，上海人工智能实验室开发了低成本大模型训练工具箱 XTuner，旨在让大模型训练不再有门槛。通过 XTuner，最低只需显存，就可以打造专属于你的 AI 助手。
【第 2 节】轻松玩转书生·浦语大模型趣味 Demo
熊猫小妖的AI世界
04-17 1031
1.2.1 什么是大模型？大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如 Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。
（笔记）第三期书生·浦语大模型实战营（十一卷王场）–书生基础岛第5关---XTuner 微调个人小助手认知
haidizym的博客
10-06 437
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1tz421B72y/课程文档：关卡作业：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/XTuner/task.md开发机平台：https://studio.intern-ai.org.cn/
C++学习笔记----8、掌握类与对象（四）---- 不同类型的数据成员（1）
weixin_71738303的博客
10-05 941
c++对于数据成员给了你许多选项。除了在类中声明简单的数据成员，可以生成静态数据成员供所有类的对象共享，const成员，引用成员，reference-to-const成员，等等。本节我们解释一下这些不同类型的数据成员的细节。
正点原子学习笔记之汇编LED驱动实验
最新发布
q1594的博客
10-10 488
为什么要写汇编需要用汇编初始化一些SOC外设使用汇编初始化DDR、I.MX6U不需要设置sp指针，一般指向DDR，设置好C语言运行环境。
强化学习笔记之【DDPG算法】
rvdgdsva的博客
10-06 846
强化学习第2篇.强化学习方向的学习者可以参考或者复刻
【韩顺平Java笔记】第6章：数组、排序和查找
随手写写
10-02 840
排序是将多个数据，依指定的顺序进行排列的过程。
6g显存和8g显存区别大吗
06-02
6GB显存和8GB显存的主要区别在于显存大小，即可以存储在显存中的数据量。一般来说，显存越大，可以处理的数据量就越大，从而可以处理更大的图像、视频等数据。同时，显存大小还会影响模型的训练和推理速度。 具体来说，当处理的数据量超过了显存大小时，显存不足会导致性能下降，例如训练速度变慢、模型无法训练等问题。因此，如果需要处理大规模数据，例如高分辨率图像、视频等，8GB显存会比6GB显存更有优势。但是，对于一般的深度学习任务，6GB显存已经足够使用了。 另外，显存大小还会影响模型的选择。一些大型模型，例如BERT、GPT等，需要较大的显存才能训练。如果显存太小，就无法进行训练。因此，在选择模型的时候，也需要考虑显存大小的限制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值