书生实战营第三期进阶岛第三关任务

最新推荐文章于 2024-10-03 09:00:56 发布
最新推荐文章于 2024-10-03 09:00:56 发布
阅读量175 收藏
点赞数 3
文章标签： 语言模型 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44555688/article/details/141403713
版权

参考文档
1.设置kv cache，观察显存

  • 显存占用19268M

image.png
2.设置在线 kv cache int4/int8 量化，

  • 显存占用19428M

image.png
3.W4A16 模型量化和部署

  • 成功开始

image.png

  • 量化成功
  • 对比文件大小，原来15G，W4A16后4.9G

image.png
4.W4A16 量化+ KV cache+KV cache 量化

  • 启动并连接API
  • 占用显存13578M

image.png

_Y_M_Y_
关注
书生实战营第三期进阶岛第二关任务
weixin_44555688的博客
08-17 265
3.magicmaker自定义工具成功。2.webdemo部署成功。
书生实战营第三期进阶岛第五关任务
weixin_44555688的博客
08-25 222
【代码】书生实战营第三期进阶岛第五关任务。
书生实战营第三期进阶岛第四关任务
weixin_44555688的博客
08-23 202
6.使用LORA的重新训练一次试试。3.InternVL推理。
书生实战营第三期进阶岛第六关任务
weixin_44555688的博客
08-24 184
说明文档详细说明
书生大模型实战营第三期进阶岛第三课——LMDeploy 量化部署实践
weixin_42567071的博客
08-29 1132
我们可以看出InternLM2.5将输入’Compute (3+5)*2’根据提供的function拆分成了"加"和"乘"两步，第一步调用function add实现加，再于第二步调用function mul实现乘，再最终输出结果16.此时代表我们成功地使用本地API与大模型进行了一次对话，如果切回第一个终端窗口，会看到如下信息，这代表其成功的完成了一次用户问题GET与输出POST。新开一个窗口查看gpu占用情况，约为12G，对比默认的cache-max-entry-count 0.8 少占用了8G左右。
【书生大模型实战营第三期 | 进阶岛第3关-LMDeploy 量化部署进阶实践】
imath60的博客
08-14 314
通过本次学习，我深刻体会到了在AI领域，模型的部署并非易事。LMDeploy作为一个强大的部署工具，它的量化技术和API封装功能极大地提升了模型部署的效率和性能。特别是权重量化，它不仅减少了模型的存储需求，还显著降低了推理时的显存占用，使得在资源受限的环境下部署大型模型成为可能。此外，Function call功能的引入，使得模型能够更加智能地处理复杂的任务，提高了交互的灵活性和准确性。总而言之，这次学习不仅增进了我的技术知识，也为我日后在AI领域的研究和实践打下了坚实的基础。
【书生大模型实战营第三期 | 进阶岛第6关-MindSearch 快速部署】
imath60的博客
08-27 406
通过本次学习，我对MindSearch的部署流程有了全面的认识。从基础的环境搭建到复杂的API集成，再到最终的项目部署，每一步都是对技术能力的考验。特别是在Hugging Face Space上的部署，让我体会到了云服务带来的便利。整个学习过程不仅提升了我的技术实践能力，也加深了我对现代软件开发流程的理解。
【书生大模型实战营第三期 | 进阶岛第1关-探索 InternLM 模型能力边界】
imath60的博客
08-14 1228
在 CompassArena 中选择双模型对话，与InternLM2.5及另外任意其他模型对话，收集 5 个 InternLM2.5 输出结果不如其他模型的对话案例，以及 InternLM2.5 的 5 个 Good Case。
【书生大模型实战营】进阶岛 第3关 LMDeploy 量化部署进阶实践
不想让你知道我的昵称的博客
08-30 1297
关于Function call，即函数调用功能，它允许开发者在调用模型时，详细说明函数的作用，并使模型能够智能地根据用户的提问来输入参数并执行函数。完成调用后，模型会将函数的输出结果作为回答用户问题的依据。准确说，模型量化是一种优化技术，旨在减少机器学习模型的大小并提高其推理速度。量化通过将模型的权重和激活从高精度（如16位浮点数）转换为低精度（如8位整数、4位整数、甚至二值网络）来实现。输入以下指令，让我们同时启用量化后的模型、设定kv cache占用和kv cache int4量化。
【第 2 节】轻松玩转书生·浦语大模型趣味 Demo
熊猫小妖的AI世界
04-17 1020
1.2.1 什么是大模型？大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如 Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。
【第7节】OpenCompass 大模型评测实战
熊猫小妖的AI世界
04-24 894
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
书生·浦语 第二讲课程笔记
2301_76914390的博客
04-25 668
⑶杰出的综合能力：浦语·灵笔2-78基于（书生·浦语2-78模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V和 Gemini Pro.⑵准确的图文问题解答能力：浦语·灵笔2具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述_觉推理等能力上表和惊人细节描述、视觉推理等能力上表现惊人。③0penxLab可以通过指定模型仓库的地址，以及需要下载的文件的名称，文件所需下载的位置等，直接下载模型权重文件，使用 download 函数导入核型中心的模型。
NL2SQL实践系列(2)：2024最新模型实战效果(Chat2DB-GLM、书生·浦语2、InternLM2-SQL等)以及工业级案例教学
丨汀、的博客
04-14 1540
NL2SQL实践系列(2)：2024最新模型实战效果(Chat2DB-GLM、书生·浦语2、InternLM2-SQL等)以及工业级案例教学
NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL、SQL-PaLM）、新一代数据集BIRD-SQL解读
丨汀、的博客
04-15 1367
NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL）、新一代数据集BIRD-SQL解读
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 482
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
GIS潮流
09-30 1277
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
Python知识点：如何使用TensorFlow Lite与Python进行边缘AI计算
最新发布
码农超哥的博客
10-03 1038
本文介绍了如何使用TensorFlow Lite与Python进行边缘AI计算。从模型训练、导出、量化到在边缘设备上运行，我们逐步完成了整个流程。通过TFLite，我们可以将训练好的机器学习模型高效地部署到资源受限的边缘设备上，实现实时、高效的AI应用。希望本文能为你的边缘AI计算项目提供有价值的参考。最后，说一个好消息，如果你正苦于毕业设计，点击下面的卡片call我，赠送定制版的开题报告和任务书，先到先得！过期不候！
酷炫音乐盒: 使用Python和Tkinter配合Pygame打造自己的音乐播放器
宇宙第一小趴菜的博客
09-29 1240
Tkinter是一个功能强大且简单易用的库，适合构建轻量级的GUI应用程序。它在不同的操作系统上具有相同的外观和行为，因此可以实现跨平台的应用程序。当然，Tkinter还有更多的功能和细节，通过阅读官方文档和教程，你可以更深入地了解和学习如何运用Tkinter来创建各种GUI应用程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值