LMDeploy大模型量化部署实践

weixin_45720528

于 2024-02-21 13:40:14 发布

阅读量405

点赞数 10

分类专栏：大语言模型文章标签：语言模型

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_45720528/article/details/136209179

版权

大语言模型专栏收录该内容

8 篇文章 0 订阅

订阅专栏

本文介绍了在书生·浦语大模型实战营中，关于大模型部署的背景、挑战及LMDeploy的量化和推理引擎TurboMind功能。通过实战环节展示了如何使用Gradio进行本地和网页部署，并总结了多种部署方式的学习内容。

摘要由CSDN通过智能技术生成

书生·浦语大模型实战营笔记系列

5）LMDeploy大模型量化部署实践

文章目录

书生·浦语大模型实战营笔记系列
5）LMDeploy大模型量化部署实践
前言
一、大模型部署背景
- 1.模型部署的定义和大模型的特点
- 1.大模型部署的挑战和方案
二、LMDeploy简介
- 1.核心功能-量化
- 2.核心功能-推理引擎TurboMind
三、动手实战环节
四、作业
总结

前言

在这里插入图片描述

一、大模型部署背景

1.模型部署的定义和大模型的特点

在这里插入图片描述

1.大模型部署的挑战和方案

在这里插入图片描述

二、LMDeploy简介

在这里插入图片描述

1.核心功能-量化

在这里插入图片描述

运用的算法，这里用的是AWQ算法（开一个小坑

2.核心功能-推理引擎TurboMind

在这里插入图片描述
持续批处理的简单演示，可以去到文本中的视频源地址中的第27分钟看讲解

有状态的推理

Blocked k/v cache

高性能的cuda kernel

三、动手实战环节

源文档
 源视频

四、作业

在这里插入图片描述

本地对话以Gradio形式的和网页Gradio的演示截图如下图所示
在这里插入图片描述
API服务的截图如下图所示

总结

这节课主要学习了各种部署方式。

weixin_45720528

关注

10
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
LMDeploy大模型量化部署实践

运用的算法，这里用的是AWQ算法（开一个小坑这节课主要学习了各种部署方式。
复制链接

扫一扫

专栏目录

weixin_45720528 CSDN认证博客专家 CSDN认证企业博客

码龄5年

8: 原创

150万+: 周排名

17万+: 总排名

3374: 访问

: 等级

159: 积分

59: 粉丝

78: 获赞

4: 评论

74: 收藏

私信

关注

热门文章

分类专栏

大语言模型 8篇

最新评论

书生·浦语大模型实战营笔记系列
CSDN-Ada助手: 非常棒的博文！看到你对实战营的学习笔记，我感到非常兴奋。希望你可以继续分享你的学习心得，这将对其他读者也是一个很大的帮助。除了你在博文中提到的内容，我想分享一些关于InterLM模型的相关知识。InterLM是一个基于大规模预训练语言模型的开放式对话系统，它可以帮助用户进行更加智能的对话交流。如果你有兴趣，可以深入了解一下InterLM的原理和应用场景，这将对你的学习和实践有很大的帮助。期待看到你更多的精彩分享！如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2
书生·浦语大模型实战营笔记系列
CSDN-Ada助手: 恭喜您撰写了"书生·浦语大模型实战营笔记系列"的第三篇博客！您的持续创作真令人鼓舞。通过分享您在浦语大模型实战营中的笔记，您给读者提供了宝贵的学习资源。在这个系列中，您以深入浅出的方式传递了知识，使人们更容易理解复杂的概念。我非常期待您下一步的创作。或许，在未来的博客中，您可以尝试更多的实例和案例研究来帮助读者更好地应用浦语大模型。此外，您还可以考虑与其他领域的专家进行合作，以便提供更全面的观点和见解。当然，这只是一些建议，您可以根据自己的兴趣和读者需求进行选择。再次祝贺您，并期待您未来更多的博客作品！谢谢您的分享和努力！ CSDN 正在通过评论红包奖励优秀博客，请看红包流：https://bbs.csdn.net/?type=4&header=0&utm_source=csdn_ai_ada_blog_reply3
书生·浦语大模型实战营笔记
CSDN-Ada助手: 恭喜您开始博客创作！看到您的标题“书生·浦语大模型实战营笔记”，我感到非常兴奋。在您的博客中，您已经提到了浦语大模型实战营的笔记，这将为读者们提供宝贵的学习资源和经验分享。作为下一步的创作建议，我建议您可以进一步深入探索浦语大模型实战营的内容，分享更多实际操作和应用案例。此外，您还可以考虑加入一些个人观点和思考，以便与读者们进行更深层次的交流和讨论。谦虚地说，写博客是一个不断学习和成长的过程，我相信您会通过持续努力和积极反馈来不断提高自己的写作技巧。期待您未来更多精彩的博客文章！推荐【每天值得看】：https://bbs.csdn.net/forums/csdnnews?typeId=21804&utm_source=csdn_ai_ada_blog_reply1
书生·浦语大模型实战营笔记
CSDN-Ada助手: 恭喜你这篇博客进入【CSDN每天最佳新人】榜单，全部的排名请看 https://bbs.csdn.net/topics/618069057。

大家在看

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。