8G 显存玩转书生大模型 Demo 学习记录（InternLM）

于 2024-10-03 22:01:12 发布
阅读量282 收藏 1
点赞数 5
分类专栏： InternLM训练营 文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60803679/article/details/142696719
版权

创建开发机

进入开发机

创建环境并安装依赖

创建目录并建立编写demo程序

部署运行大模型让其自我介绍并生成300字小故事

用streamlit部署让其介绍自己并生成300字小故事

尝试进阶任务：InternLM-XComposer2-VL-1.8B 模型的部署，首先构建环境

进行部署出现错误missing file

尝试它所给的方法，并重新部署，显存爆了

不认输，查阅了csdn相关问题，用了两三种方法，最后是按照这个进行调整重新部署解决Anaconda环境下利用gradio启动web页面生成的链接报错Could not create share link_gradio搭建的网站显示错误-CSDN博客

还是could not create share link，到这已经放弃了，很可惜也很遗憾

最后还是推荐书生大模型实战营GitHub - InternLM/Tutorial: LLM&VLM Tutorial

Chunianzk
关注
专栏目录
8G显存一键训练，解锁Llama2等隐藏能力！XTuner带你玩转大模型
u013250861的博客
10-13 379
自 ChatGPT 发布以来，大模型的强大让人们看见了通用人工智能的曙光，各个科技大厂也纷纷开源自家的大语言模型。然而，大模型也意味着高昂的硬件成本，让不少平民玩家望而却步。为了让大模型走入千家万户，赋能百业，上海人工智能实验室开发了低成本大模型训练工具箱 XTuner，旨在让大模型训练不再有门槛。通过 XTuner，最低只需显存，就可以打造专属于你的 AI 助手。
【第 2 节】轻松玩转书生·浦语大模型趣味 Demo
熊猫小妖的AI世界
04-17 1016
1.2.1 什么是大模型？大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如 Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。
基础岛——8G 显存玩转书生大模型 Demo
qq_44407313的博客
08-08 353
InternLM-XComposer2-VL-1.8B 是基于 InternLM2 的视觉语言大模型，其擅长自由形式的文本图像合成和理解。使用 LMDeploy 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事，记录复现过程并截图。使用 LMDeploy 部署 InternLM-XComposer2-VL-1.8B 模型。Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型。
8G 显存玩转书生大模型 Demo
weixin_54561434的博客
08-04 457
书生大模型实战营(第三期)-8G 显存玩转书生大模型 Demo
8G 显存玩转书生大模型 Demo（学习笔记）
weixin_49463617的博客
08-16 777
system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).使用 LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务。注意：个人电脑上的浏览器访问http://localhost:6006/，需要通过建立隧道，访问服务端的6006服务。启动 InternVL2-2B 模型的 Gradio 服务。激活环境并安装 LMDeploy 以及其他依赖。
【书生·浦语实战营】基础岛第2关：8G 显存玩转书生大模型 Demo
qq_43959624的博客
07-31 936
‌具体来说，‌当temperature设置为较高的值时，‌模型在选择下一个token时会倾向于选择概率较低的选项，‌从而产生更具创新性和多样性的输出。‌相反，‌当temperature设置为较低的值时，‌模型会更偏向于选择概率较高的选项，‌产生更准确、‌更确定性的输出。TurboMind与TurboMind模型的关系：TurboMind是推理引擎的名字，TurboMind模型是一种模型存储格式，TurboMind引擎只能推理TurboMind格式的模型。
【InternLM】8G 显存玩转书生大模型 Demo
weixin_44219419的博客
08-11 193
使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事。
8G 显存玩转书生大模型 Demo #书生大模型实战营#
fzyz123的博客
08-09 950
（TimM）是一个 PyTorch 的模型库，它提供了大量的预训练图像模型，包括经典的 CNN（卷积神经网络）架构以及最新的研究进展。很好的理解了我的问题，默认生成了一段中文的描述，对图片的描述比之前的InternLM-XComposer2-VL-1.8B效果要好。InternVL2 是上海人工智能实验室推出的新一代视觉-语言多模态大模型，是首个综合性能媲美国际闭源商业模型的开源多模态大模型。LMDeploy 是一个用于快速部署语言模型的服务框架，它可以帮助你轻松地将大型语言模型部署到各种环境中。
书生大模型实战营学习[5] 8G 显存玩转书生大模型 Demo
sand_wich的博客
09-22 644
LMDeploy 已经支持了 InternLM-XComposer2 系列的部署，但值得注意的是 LMDeploy 仅支持了 InternLM-XComposer2 系列模型的视觉对话功能。准确的视觉语言问题解决：InternLM-XComposer2 基于自由形式的指令准确地处理多样化和具有挑战性的视觉语言问答任务，在识别，感知，详细标签，视觉推理等方面表现出色。LMDeploy 也已经支持了 InternVL2 系列模型的部署，让我们一起来使用 LMDeploy 部署 InternVL2-2B 模型。
0028-极智AI-解读算一算大模型显存占用-个人笔记
08-28
0028_极智AI_解读算一算大模型显存占用-个人笔记
NL2SQL实践系列(2)：2024最新模型实战效果(Chat2DB-GLM、书生·浦语2、InternLM2-SQL等)以及工业级案例教学
丨汀、的博客
04-14 1528
NL2SQL实践系列(2)：2024最新模型实战效果(Chat2DB-GLM、书生·浦语2、InternLM2-SQL等)以及工业级案例教学
【 书生·浦语大模型实战营】学习笔记（三）：“茴香豆” 搭建你的RAG 智能助理
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-12 1090
本篇笔记内容主要分为RAG理论介绍和“茴香豆” RAG 智能助理实战。前半部分对RAG流程、向量数据库、优化等展开介绍，后半部分实战任务分为以web页面及Internlm框架进行茴香豆实战，欢迎大家交流学习！
Go基础学习08-并发安全型类型-通道（chan）深入研究
FLJS_T的博客
09-28 870
在前面学习中了解到对于单值变量，如：int、string；多值变量，如：map存在多协程对资源竞争的并发问题，为了解决并发性通常需要引入sync.Mutex解决。>对于通道的基本声明方式有三种：声明并初始化带缓冲的通道（ch1）；声明并初始化一个不带缓冲的通道（ch2）；仅仅声明一个通道（ch3） >什么是通道：==一个通道相当于一个先进先出（FIFO）的队列。也就是说，通道中的各个元素值都是严格地按照发送的顺序排列的，先被发送通道的元素值一定会先被接收。Select和for循环实现对channel的多次选
10.2学习
最新发布
2401_87363162的博客
10-02 987
​ Spring AOP就是基于动态代理的，如果要代理的对象，实现了某个接⼝，那么Spring AOP会使⽤JDKProxy，去创建代理对象，⽽对于没有实现接⼝的对象，就⽆法使⽤ JDK Proxy 去进⾏代理了，这时候Spring AOP会使⽤基于asm框架字节流的Cglib动态代理 ，这时候Spring AOP会使⽤ Cglib ⽣成⼀个被代理对象的⼦类来作为代理。每个线程中都有一个自己的ThreadLocalMap类对象，可以将线程自己的对象保持到其中，各管各的，线程可以正确的访问到自己的对象。
6.824 Lab 2C 学习记录
kingsill的博客
09-29 306
最后10s，开始的时候，恢复网络，插入一个数据，等待这个数据被提交，如果超过这10s就报错。2C的test中的unreliable figure8算是给博主的迎头一棒，需要根据raft论文的figure8进行解决，leader。根据前任及博主自己的经验，unreliable figure8的除了上述这一点以外，需要对。博主由于之前的不严谨，给自己留下了很大的改进困难，最后不得不重构代码。进行一定的设计，可以参考课程里老师提出的意见。一下为博主的github仓库，需要的可以参考。有一定的考验，那么就需要对。
【DirectX sdk 学习使用】
qq_41610493的博客
10-01 348
设置包含目录：打开你的项目属性，导航到VC++目录，然后在包含目录中添加DirectX SDK的Include文件夹路径。设置库目录：同样在VC++目录中，在库目录中添加DirectX SDK的Lib文件夹路径。运行安装程序：下载完成后，找到下载的安装程序（通常是一个.exe文件），双击运行。选择安装路径：选择你希望安装DirectX SDK的路径，或者使用默认路径。如果你有任何问题或需要进一步的指导，请随时告诉我。接受许可协议：在安装向导中，阅读并接受许可协议。完成安装：点击“安装”按钮，等待安装完成。
Elasticsearch学习笔记(2）
m0_74293254的博客
09-28 1181
创建索引: 使用 PUT 请求来定义索引及其映射。创建文档: 使用 POST 请求将数据添加到索引。读取文档: 使用 GET 请求获取特定文档。更新文档: 使用 POST 加上 _update 操作来修改现有文档。删除文档: 使用 DELETE 请求删除指定文档。删除索引: 使用 DELETE 请求删除整个索引。请求方式：POST请求格式：/{索引库名}/_doc/文档id示例：POST /my_index/_doc/1 { "field": "value" }
Java Web核心技术阶段的学习要点
2401_87352036的博客
09-27 546
JavaWeb核心技术阶段的学习要点涵盖了多个关键技术和概念，这些技术和概念对于开发动Web应用程序至关重要。
6g显存和8g显存区别大吗
06-02
6GB显存和8GB显存的主要区别在于显存大小，即可以存储在显存中的数据量。一般来说，显存越大，可以处理的数据量就越大，从而可以处理更大的图像、视频等数据。同时，显存大小还会影响模型的训练和推理速度。 具体来说，当处理的数据量超过了显存大小时，显存不足会导致性能下降，例如训练速度变慢、模型无法训练等问题。因此，如果需要处理大规模数据，例如高分辨率图像、视频等，8GB显存会比6GB显存更有优势。但是，对于一般的深度学习任务，6GB显存已经足够使用了。 另外，显存大小还会影响模型的选择。一些大型模型，例如BERT、GPT等，需要较大的显存才能训练。如果显存太小，就无法进行训练。因此，在选择模型的时候，也需要考虑显存大小的限制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值