【LMDeploy 量化部署 LLM 实践】课程笔记及作业

已于 2024-05-11 10:30:41 修改
阅读量125 收藏 5
点赞数 7
文章标签： 人工智能
于 2024-04-29 08:26:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51956916/article/details/138284744
版权

目录

《LMDeploy 量化部署 LLM 实践》课程笔记


模型部署指将训练好的深度学习模型在特定环境中运行的过程

在这里插入图片描述
大模型部署面临的挑战之一是计算量巨大

在这里插入图片描述
另一个挑战是内存开销巨大

在这里插入图片描述
第三个挑战是大模型推理是访存密集型任务，存在访存瓶颈

在这里插入图片描述
常用大模型部署方法
模型剪枝

在这里插入图片描述
知识蒸馏

在这里插入图片描述
模型量化，基本思想是将表示方法中的浮点数转换为整数或其他离散形式，降低访存量，降低深度学习模型的存储和计算负担

在这里插入图片描述
lmdeploy简介

在这里插入图片描述
lmdeploy核心功能包括高效推理，量化压缩和服务化部署

在这里插入图片描述

《LMDeploy 量化部署 LLM 实践》课程作业

在这里插入图片描述


不使用lmdeploy部署推理

在这里插入图片描述
使用lmdeploy部署推理

在这里插入图片描述
LMDeploy的KV Cache管理器可以通过设置–cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。默认的比例为0.8。

在这里插入图片描述
下面，改变–cache-max-entry-count参数，设为0.5。

在这里插入图片描述
对模型进行4-bit量化

在这里插入图片描述
下面使用Chat功能运行W4A16量化后的模型。为了更加明显体会到W4A16的作用，将KV Cache比例再次调为0.01，查看显存占用情况。

在这里插入图片描述
可以看到显存占用率明显降低
启动API服务器

在这里插入图片描述
在本地浏览器打开页面

在这里插入图片描述
在vscode中新建客户端终端进行对话

在这里插入图片描述
网页客户端连接API服务器

在这里插入图片描述

Python代码集成运行1.8B模型

在这里插入图片描述
向TurboMind后端传递参数

在这里插入图片描述
使用LMDeploy运行视觉多模态大模型llava
运行结果

在这里插入图片描述
通过Gradio来运行llava模型

在这里插入图片描述

向晚大魔王
关注
  • 7
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于LLM构建系统：课程分享
06-10
基于LLM构建系统：课程分享
TensorRT-LLM应用与部署最佳实践-CSDN-webniar
04-22
Nvidia官方出品，helloworld
书生·浦语大模型实战营——LMDeploy 量化部署 LLM-VLM 实践
weixin_44219510的博客
04-12 602
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。
InternLM 实战营笔记-5-LMDeploy量化部署LLM&VLM实践
zwplus的博客
04-17 754
这里的前向推理公式主要适用那些采用了Decoder-only并且是逐个Token生成的LLM，这里公式也是指生成一个Token的前向计算量。2N表示的是单个Token与模型参数之间的计算量，不包括注意力图的计算，这个结果可以通过将LLM简化成一个大的全连接层来看即ywxb,这里假设x大小为1bw大小为abb的大小为a,由于x与w进行的是点积运算，所以相应运算量为a∗b乘法和a∗b−1加法运算，相应的和偏置的运算量为a次加法，因此总计2∗a∗b。
LMDeploy 量化部署 LLM-VLM 实践——笔记
YYYYbhjbhkv_的博客
04-22 923
在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。高效的推理LMDeploy 开发了 Continuous Batch，Blocked K/V Cache，动态拆分和融合，张量并行，高效的计算 kernel 等重要特性。
大模型部署与推理-基于LMDeploy-书生·浦语大模型第二期实战营第五课笔记&作业
2301_76739570的博客
04-10 740
前向推理需要的计算量公式Cforward​2∗N2∗nlayer​∗nctx​∗dattn​– N是参数量，nlayer​nctx​dattn​分别代表层数，上下文长度，注意力维度kv cache显存占用公式Mkvcache​4∗b∗nlayer​∗dattn​∗sn–bnlayer​dattn​。
LMDeploy 量化部署 LLM&VLM 实践
2301_77641278的博客
04-16 1761
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。LMDeploy 由 MMDeploy和MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。
第五节课——LMDeploy 量化部署 LLM 实践（笔记+作业）
qq_42866802的博客
06-10 272
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。
第五课 LMDeploy 量化部署 LLM-VLM 实践 笔记与作业
wudiyjnewway的博客
06-06 885
LMDeploy简而言之，是一套解决大模型的量化、部署、服务的解决方案套件。核心功能：模型高效推理；模型量化压缩；服务化部署。本文介绍了LMDeploy的应用
InternLM 实战营第五课：LMDeploy 量化部署 LLM 实践（笔记）
yuanwei416的博客
04-24 402
LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发是涵盖了 LLM 任务的全套轻量化、部署和服务。本节内容包含：大模型部署背景、大模型部署方法、LMDeploy简介、动手实践环节，共四部分。
LMDeploy 量化部署 LLM 实践（作业）
最新发布
DizzyOK的博客
06-15 192
使用LMDeploy，对InternLM使用同样的问题，推理速度快了很多。
LMDeploy 量化部署 LLM-VLM 实践——作业
YYYYbhjbhkv_的博客
04-22 762
出人意料的是，用中文拼英提问，得到的回答还可以，虽然不如前两次提问时回答的详细，但这次能肯定的回答这是只老虎，还是比直接用中文好上不少的。好一个 ☞ 🐅 → 🦅 ，虽然在括号里有说明这可能是一只老虎，但全篇回答以老鹰描述还是架不住，只能说 Llava 模型对中文的支持性还是比较低。可以看到，LMDeploy 的推理速度是 Transformer库 的 6.74 倍！这个地方，按理来说，显存占用应该会降低很多的，但不知道为什么我运行下来以后提升只有一点点。可以看到，这里的英文回答对图片的分析还是比较清楚的。
利用LLM构建应用实践笔记.zip
02-07
python chatgpt
算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
06-05
算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip算法部署-使用TensorRT-LLM...
LLM在电商推荐系统的探索与实践
11-21
"LLM在电商推荐系统的探索与实践" 本文探索了大语言模型(LLM)在电商推荐系统中的应用，旨在解决推荐系统中经典的CF范式与LLM之间的差距。通过使用LLM对推荐系统进行数据增强，既能保证基础推荐系统的准确性，又充分...
从GAN到WGAN（02/2）
gongdiwudu的专栏
06-14 986
生成对抗网络 （GAN） 在许多生成任务中显示出巨大的效果，以复制现实世界的丰富内容，如图像、人类语言和音乐。它的灵感来自博弈论：两个模型，一个生成器和一个批评家，在相互竞争的同时使彼此更强大。然而，训练GAN模型是相当具有挑战性的，因为人们面临着训练不稳定或收敛失败等问题。在这里，我想解释一下生成对抗网络框架背后的数学原理，为什么很难训练，最后介绍一个旨在解决训练难点的GAN修改版本。
Meta首席AI科学家Yann LeCun指出生成式AI的不足
2301_79342058的博客
06-09 1470
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/在当今被誉为技术创新前沿的生成式AI领域，Meta首席AI科学家Yann LeCun提出了一个颠覆现状的观点。
景芯SoC A72的时钟树分析
u011075954的专栏
06-13 568
innovus的ctslog中的Clock DAG信息可以报出来CTS主要运行步骤的关键信息，比如clustering，balancing做完后的clock tree的长度，clock tree上所用的buffer、inverter，icg cell数量，clock skew等信息。可以看到cell、sink的counts，也可以看到BUF、ICG的数量，接下来我们来看看景芯SoC A72 TOP的CLOCK ID和BUF个数的变化吧。先看下景芯SoC A72项目的cts latency变化过程。
llm 模型本地部署及微调流程
06-10
LLM（Language Learning Model）是一个基于预训练模型的自然语言处理框架，可以用于各种NLP任务，如文本分类、命名实体识别、情感分析等。下面是LLM模型的本地部署及微调流程： 1. 下载预训练模型 LLM模型基于预训练模型，可以通过Hugging Face官网下载预训练模型。选择相应的模型并下载到本地。 2. 安装LLM 可以使用pip命令安装LLM，命令如下： ``` pip install llm ``` 3. 加载预训练模型 使用LLM的load方法加载预训练模型，代码示例如下： ```python from llm.modeling import LLMForSequenceClassification model = LLMForSequenceClassification.from_pretrained('path/to/pretrained_model') ``` 4. 微调模型 使用LLM的train方法微调模型，代码示例如下： ```python import torch from llm.data import TextDataset, TextDataLoader from llm.training import LLMTrainer train_dataset = TextDataset('path/to/train_data', model.tokenizer) train_loader = TextDataLoader(train_dataset, batch_size=32, shuffle=True) optimizer = torch.optim.Adam(model.parameters(), lr=5e-5) trainer = LLMTrainer(model, optimizer) trainer.train(train_loader, epochs=3) ``` 5. 保存微调后的模型 使用LLM的save_pretrained方法保存微调后的模型，代码示例如下： ```python model.save_pretrained('path/to/fine_tuned_model') ``` 以上就是LLM模型的本地部署及微调流程。需要注意的是，在微调模型时，需要准备好训练数据，并且调整好超参数，以达到最佳的微调效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值