大模型学习之书生·浦语大模型5——基于LMDeploy大模型量化部署实践

已于 2024-01-18 21:07:17 修改
阅读量642 收藏 5
点赞数 10
分类专栏： # 书生·浦语大模型 文章标签： 学习 LLM 大模型 持续部署
于 2024-01-16 23:57:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uncle_ll/article/details/135637903
版权

在这里插入图片描述

目录

在这里插入图片描述

大模型部署背景

在这里插入图片描述
在这里插入图片描述

LMDeploy部署

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

量化

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

TurboMind

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

API server

在这里插入图片描述

动手实践环节

在这里插入图片描述

1.创建开发机

在这里插入图片描述

2.创建虚拟环境

在这里插入图片描述

3.服务部署

在这里插入图片描述
在线转换模型
在这里插入图片描述
在这里插入图片描述
离线转换

在这里插入图片描述

4.TurboMind推理

在这里插入图片描述

  • TurboMind+API服务
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    提供了一些API的接口
    在这里插入图片描述

  • Gradio Demo演示
    API server作为后端
    在这里插入图片描述
    注意这里要同时启动API server的
    在这里插入图片描述

TurboMind推理作为后端
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.Benchmark

在这里插入图片描述

模型量化

模型量化以在保证精度的同时，降低空间占用以及加快推理速度。

KV Cache量化

  • 第一步：计算minmax
    在这里插入图片描述

  • 第二步：通过minmax获取量化参数
    在这里插入图片描述
    在这里插入图片描述

  • 第三步：修改配置文件，打开一些开关

  • 量化效果：
    在这里插入图片描述
    在这里插入图片描述

  • 性能有下降，也有提升
    在这里插入图片描述
    在这里插入图片描述

W4A16量化

  • 第一步：计算minmax
    在这里插入图片描述

  • 第二步：量化权重模型
    在这里插入图片描述

  • 第三步：转换为TurboMind格式
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

量化效果
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
讲个故事：
在这里插入图片描述

参考

uncle_ll
关注
  • 10
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生浦语大模型实战课 第二课作业（更新）
04-04
书生浦语大模型实战课 第二课作业（更新）
LMDeploy 大模型量化部署实践
zhjunqin的博客
01-14 1056
下图中，左边主要对比 LMDeploy 自身在量化前后的性能；右边主要对比 vLLM 和 LMDeploy 的性能对比。量化后，显存占用量显著减少，其中包括权重和 KV Cache。由于 GPU 的计算需要将权重从 GPU 主存 -> GPU 共享内存，因此量化显著减少了数据的传输量，提高了整体效率。AWQ 算法全称：Activation-aware Weight Quantization。
LMDeploy 大模型量化部署
weixin_55982578的博客
02-26 1053
LMDeploy是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务
大模型微调学习之旅⑤ — LMDeploy 大模型量化部署实践
HOOK1的博客
01-21 1717
LMDeploy是 LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。项目地址这是 lmdeploy 吞吐量测试结果，已经超过一些常见框架。可以运行更大模型。不用怕设备性能不够，可以把 65B 或更大的模型，切分到多个 设备上运行。lmdeploy 不止实现了多 batch，更完成了 kv cache 量化，有效降低单用户成本。只要是 transformer 结构（InternLM/LLaMa/Vicuna），无论 HuggingFace 或 Meta 格式，都可以转成需要的 bin。
第五次课：LMDeploy 大模型量化部署实践
weixin_48339493的博客
01-22 407
而执行本命令需要添加本机公钥，公钥添加后等待几分钟即可生效。ssh 端口号就是下面图片里的 33087。-p <你的ssh端口号>
第五课-LMDeploy 大模型量化部署实践
sunney的博客
01-13 928
LMDeploy 由MMDeploy和MMRazor团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。高效推理引擎 TurboMind：基于 FasterTransformer，我们实现了高效推理引擎 TurboMind，支持 InternLM、LLaMA、vicuna等模型在 NVIDIA GPU 上的推理。**交互推理方式：**通过缓存多轮对话过程中 attention 的 k/v，记住对话历史，从而避免重复处理历史会话。多 GPU 部署和量化。
【书生·浦语大模型实战营第二期】LMDeploy量化部署LLM实践——学习笔记5
m0_61819793的博客
05-02 881
书生·浦语实战营 学习笔记5 LMDeploy 量化部署 LLM 实践
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
书生·浦语大模型第二课
03-04
书生·浦语大模型第二课
书生浦语大模型实战课（第二期） 第二课作业
04-04
书生浦语大模型实战课（第二期） 第二课作业
基于LMDeploy部署大模型和量化
分享技术干货和灵感、推荐新书和好玩的项目、分享Java面试题
02-29 643
LMDeploy 是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。核心功能-量化核心功能-推理引擎TurboMind核心功能-推理服务。
FME学习之旅---day27
最新发布
summer_corner的博客
05-17 195
我们付出一些成本，时间的或者其他，最终总能收获一些什么。
使用多实例学习进行乳腺癌组织病理学图像分类和定位
qq_47896523的博客
05-16 1097
乳腺癌是女性最主要的死亡原因，病理学家根据病理切片中观察到的各种视觉特征（例如细胞核的形态特征、细胞核的微观和宏观结构等）做出决定。计算机辅助诊断（CAD）系统可以帮助病理学家自动做出决策。卷积神经网络是最广泛使用的深度学习框架，用于学习图像类别之间的复杂判别特征。多年来，VGG16 [3] 和 ResNet18 [4] 等各种 CNN 架构在海量 ImageNet 数据集上产生了出色的结果。CNN 被用于医学图像以产生最先进的结果。为图像中存在的所有类别提供了定位信息。
微信小程序学习（第八章作业）
weixin_74181724的博客
05-13 575
留言板是一款能实现浏览留言、发表留言、删除留言和编辑留言的小程序，用户能够浏览当前的已留言内容，并且能按照时间的升序来查看最新的留言内容;能够发表自己的留言内容，在留言发表页填写相关项后即可发表，并能查看到新留言内容;能够删除不需要的留言;能够修改留言内容。因此，简单留言板的功能主要为显示留言、发表留言删除留言和编辑留言。
WEB转Flutter基础学习笔记（内含vue和flutter对比）
小易不止于搬砖的博客
05-17 670
笔者是一名web前端，记录在转栈flutter时的学习笔记，内涵和vue的对比，能够辅助前端同学更容易理解flutter
Page对象的学习
2301_77523055的博客
05-14 1003
ASP.NET允许开发者创建自定义控件和用户控件来扩展页面的功能。自定义控件是从现有的ASP.NET控件派生出来的新控件，而用户控件则是将多个控件组合成一个可重用的单元。这些控件可以像其他ASP.NET控件一样在页面上使用，并通过Page对象进行交互。Page_Init主要用于在控件加载之前进行初始化设置和添加事件处理程序。Page_Load主要用于处理页面回发和加载数据，以及执行其他需要在页面加载时完成的逻辑。由于Page_Init在Page_Load之前触发，因此在Page_Init。
学习kong官方文档
好好学习日记
05-17 271
当然，我会用更简洁的方式重新解释这两个概念：Helm和Kubectl是Kubernetes生态系统中常用的两个工具，它们各自有不同的用途：
国内大语言模型还有哪些？
06-06
国内目前比较知名的大型语言模型主要包括： 1. 百度的ERNIE（Enhanced Representation through Knowledge Integration） 2. 阿里巴巴的ALBERT（A Lite BERT） 3. 华为的GPT（Generative Pre-trained Transformer） 4. 腾讯的XLNet（eXtreme Language understanding NETwork） 5. 中科院计算所的GShard（Globally Shared Transformer） 这些模型都有着很强的自然语言处理能力，在各自的领域和场景中得到了广泛的应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

uncle_ll

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值