LMDeploy 量化部署 LLM&VLM实战--全部作业

已于 2024-04-12 07:02:17 修改
阅读量317 收藏
点赞数 2
文章标签： ai 语言模型
于 2024-04-12 07:00:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taotao_zhang1/article/details/137663238
版权
本文介绍了如何配置LMDeploy环境，包括下载并以命令行方式操作internlm-chat-1.8b模型，进阶任务涉及KVCache优化、W4A16量化、APIServer启动、多种客户端对话及Python集成，最后挑战视觉多模态模型llavagradiodemo的使用。
摘要由CSDN通过智能技术生成

一、基础作业部分

  • 配置lmdeploy运行环境，下载internlm-chat-1.8b模型

  • 以命令行方式与模型对话二、进阶作业 

  • 设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。（优秀学员必做）

最低0.47元/天 解锁文章
taotao_zhang1
关注
LMDeploy 量化部署 LLM-VLM 实践
2401_83218582的博客
04-15 437
参考文档：https://github.com/InternLM/Tutorial/blob/camp2/lmdeploy/README.md作业一：配置 LMDeploy 运行环境使用命令：studio-conda -t lmdeploy -o pytorch-2.1.2由于环境依赖项存在torch，下载过程比较缓慢，最终结果如下图：安装deployTransformer来直接运行InternLM2-Chat-1.8B模型：运行transformer.py文件中的内容，运行得到对话：进阶作业：设置KV C
书生·浦语--（五）LMDeploy 量化部署 LLM-VLM 实践（基础作业）
ppyyds的博客
04-23 904
W4A16 量化，将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。两种不同的设置反应在不同的显存使用上，对于--cache-max-entry-count = 0.01来说基本不使用额外显存存储KV参数，显存的消耗跟载入一个1.8B模型的参数量基本相同，但此时推理速度大大降低。LLM微调是一个将预训练模型在较小、特定数据集上进一步训练的过程，目的是精炼模型的能力，提高其在特定任务或领域上的性能。
LMDeploy量化部署LLM&VLM实践
GYX67的博客
07-25 1102
打开InternStudio平台，创建开发机。填写开发机名称；选择镜像；选择10% A100*1GPU；点击“立即创建”。排队等待一小段时间，点击“进入开发机”。点击左上角图标，切换为终端(Terminal)模式。
LMDeploy 量化部署 LLM&VLM实战
qq_38943092的博客
05-10 1693
LMDeploy 量化部署 LLM&VLM实战。
学习笔记 | LMDeploy 量化部署 LLM-VLM 实践
DrFlown的博客
04-22 1862
根据InternLM2技术报告提供的模型参数数据，以及KV Cache空间估算方法，以FP16为例，在batch-size为16、输入512 tokens、输出32 tokens的情境下，仅20B模型就会产生10.3GB的缓存。该过程在新版本的LMDeploy中是自动进行的，无需用户操作。​ TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。
InternLM 实战营笔记-5-LMDeploy量化部署LLM&VLM实践
zwplus的博客
04-17 951
这里的前向推理公式主要适用那些采用了Decoder-only并且是逐个Token生成的LLM，这里公式也是指生成一个Token的前向计算量。2N表示的是单个Token与模型参数之间的计算量，不包括注意力图的计算，这个结果可以通过将LLM简化成一个大的全连接层来看即ywxb,这里假设x大小为1bw大小为abb的大小为a,由于x与w进行的是点积运算，所以相应运算量为a∗b乘法和a∗b−1加法运算，相应的和偏置的运算量为a次加法，因此总计2∗a∗b。
LMDeploy 量化 部署 LLM&VLM 实践
qq_42137576的博客
05-23 1243
LMDeploy 量化部署 LLM&VLM 实践
LMDeploy 量化部署 LLM-VLM 实践(InternLM 实战营第五次作业)
m0_65597091的博客
04-14 477
在3中，我们已经下载好了InternLM2-Chat-1.8B的HF模型。下面我们先用Transformer来直接运行InternLM2-Chat-1.8B模型，后面对比一下LMDeploy的使用感受。InternStudio开发机创建conda环境，由于环境依赖项存在torch，下载过程可能比较缓慢。首先进入一个你想要存放模型的目录，本教程统一放置在Home目录。执行完如上指令后，可以运行“ls”命令。激活刚刚创建的虚拟环境，安装0.3.0版本的lmdeploy。文件夹，即下载好的预训练模型。
LMDeploy量化部署LLM&VLM实战（笔记）
2301_80703617的博客
04-15 490
服务器端:CPU部署，单GPU/TPU/NPU部署，多卡/集群部署.移动端/边缘端:移动机器人，手机…….LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。
LMDeploy 量化部署 LLM&VLM实战--笔记
taotao_zhang1的博客
04-12 1297
打开InternStudio平台，创建开发机。填写开发机名称；选择镜像；选择10% A100*1GPU；点击“立即创建”。排队等待一小段时间，点击“进入开发机”。点击左上角图标，切换为终端(Terminal)模式。
【InternLM 实战营第二期笔记+作业05】LMDeploy量化部署LLM&VLM实践
zzzibo的博客
05-17 1140
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。
第四节课《LMDeploy量化部署LLM&VLM实战》学习笔记
weixin_59512778的博客
04-16 794
LMDeploy是涵盖LLM任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和状态推理。
LMDeploy 量化部署 LLM&VLM 实践
zhouyanzhong18的博客
04-12 726
3.以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。4.使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。2.设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。5.使用 LMDeploy 运行视觉多模态大模型 llava gradio demo （优秀学员必做）
校园便利平台 免费JAVA毕业设计 2024成品源码+论文+录屏+启动教程.zip
01-27
校园便利平台 免费JAVA毕业设计 2024成品源码+论文+录屏+启动教程 启动教程：https://www.bilibili.com/video/BV1SzbFe7EGZ 项目讲解视频：https://www.bilibili.com/video/BV1Tb421n72S 二次开发教程：https://www.bilibili.com/video/BV18i421i7Dx
MSK调制解调仿真实现与源文件解析：基于Matlab的通信系统设计方法,msk调制解调仿真 源文件 matlab ,核心关键词：MSK调制解调仿真; 源文件; MATLAB; 信号处理; 通信系统
01-27
MSK调制解调仿真实现与源文件解析：基于Matlab的通信系统设计方法,msk调制解调仿真 源文件 matlab ,核心关键词：MSK调制解调仿真; 源文件; MATLAB; 信号处理; 通信系统。,Matlab仿真MSK调制解调关键技术与源文件分析
基于大数据的心脏病患者数据分析 免费JAVA毕业设计 2024成品源码+论文+录屏+启动教程.zip
01-27
基于大数据的心脏病患者数据分析 免费JAVA毕业设计 2024成品源码+论文+录屏+启动教程 启动教程：https://www.bilibili.com/video/BV1SzbFe7EGZ 项目讲解视频：https://www.bilibili.com/video/BV1Tb421n72S 二次开发教程：https://www.bilibili.com/video/BV18i421i7Dx
连续型Hopfield神经网络在无人机路径规划中的应用.pdf
最新发布
01-27
连续型Hopfield神经网络在无人机路径规划中的应用.pdf
IEEE 33节点配电网Simulink模型，包含节点和支路数据参考及分布式电源接入，MATLAB兼容的MDL文件,IEEE33节点的配电网simulink模型，附带有节点和支路数据详细参考和来源文献
01-27
IEEE 33节点配电网Simulink模型，包含节点和支路数据参考及分布式电源接入，MATLAB兼容的MDL文件,IEEE33节点的配电网simulink模型，附带有节点和支路数据详细参考和来源文献。 数据已经调试完毕，使用matlab能够正常运行，mdl文件，适合于任何版本，配电网模型中也可以接入分布式电源 ,IEEE33节点配电网; Simulink模型; 节点支路数据; 调试完毕; matlab运行; mdl文件; 分布式电源接入,"IEEE 33节点配电网Simulink模型：节点支路数据详解与分布式电源接入实践"
STM32F072RB NUCLEO智能家居控制.zip
01-27
STM32F072RB NUCLEO智能家居控制，含有完整的源码和报告文档
TensorRT-LLM部署大模型：实战教程与优化流程分析
资源摘要信息:"本资源提供了一份全面的教程，旨在教授如何利用TensorRT-LLM技术部署大型模型。教程中包含了详细的优化和分析流程，以及具体的大模型部署项目实战案例。TensorRT-LLM是NVIDIA推出的深度学习推理加速器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值