LMDeploy量化部署LLM&VLM实战（笔记）

已于 2024-04-16 00:40:44 修改
阅读量407 收藏 3
点赞数 10
文章标签： 笔记
于 2024-04-15 23:50:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_80703617/article/details/137799615
版权
本文探讨了深度学习模型部署的关键步骤，包括服务器端和移动端部署的挑战，如计算量、内存瓶颈和动态请求。此外，介绍了模型剪枝、知识蒸馏和量化等技术来提升模型效率。LMDeploy作为一套完整的解决方案，提供高效推理、量化压缩和便捷服务等功能，并展示了其卓越的性能表现。
摘要由CSDN通过智能技术生成

1.模型部署

定义
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。
在人工智能领域，横型部署是实现深度学习算法潜地应用的关天键步骤，简单来说，横型部署就是将训练好的深度学习横型在特定环境中运行的过程。
场景：

服务器端:CPU部署，单GPU/TPU/NPU部署，多卡/集群部署.
移动端/边缘端:移动机器人，手机…….

2.大模型部署面临的挑战

计算量巨大；访存瓶颈；动态请求

3.模型剪枝

剪枝指移除横型中不必要或多余的组件，比如参数，以使模型更加高效。通过对模型中贡献有限的元余参数进行剪枝，在保证性能最低下降的同时，可以减小存储需求、提高计算效率。分为结构化剪枝和非结构化剪枝。

4.知识蒸馏

知识蒸馏是一种经典的模型压缩方法，核心思想是通过能。引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型，在不改变学生模型结构的情况下提高其性能。

5.量化

量化技术将传统的表示方法中的浮点数转换为整数或其他离散形式，以减轻深度学习模型的存储和计算负担。

6.LMDeploy

6.1简介

LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。

6.2核心功能

模型高效推理；模型量化压缩；服务化部署。

6.3性能表现

LMDeploy TurboMind 引擎拥有卓越的推理能力，在各种规模的模型上，每秒处理的请求数是 vLLM的1.36~1.85 倍。在静态推理能力方面，TurboMind 4bit 模型推理速度(out token/s)远高于FP16/BF16推理。在小batch时，提高到2.4倍。

墓袖远笺
关注
【ChatGLM】基于 ChatGLM-6B + langchain 实现本地化知识库检索与智能答案生成: 中文 LangChain 项目的实现开源工作
AI天才研究院
05-21 6万+
陈光剑简介：著有《ClickHouse入门、实战与进阶》（即将上架）《Kotlin 极简教程》《Spring Boot开发实战》《Kotlin从入门到进阶实战》等技术书籍。资深程序员、大数据与后端技术专家、架构师，拥有超过10年的技术研发和管理经验。现就职于字节跳动，曾就职于阿里巴巴，主要从事企业智能数字化经营管理、电商智能数字化运营等系统架构设计和研发工作。在大数据和企业级系统架构领域有非常深厚的积累，擅长大数据系统架构和分布式系统架构设计开发。
【LLM】vLLM部署与int8量化
热门推荐
weixin_49816179的博客
01-09 1万+
介绍了vLLM原理并讲解如何支持peft，对不同的decoding methods进行了说明，同时详述了int8量化的过程。
LMDeploy量化部署LLM&VLM
weixin_45924641的博客
04-18 1479
LMDeploy量化部署InternLM2-chat-1.8B & LLaVa
LLaMA-Factory仓基础功能架构及NPU/GPU环境实战演练
Watson的博客
09-04 1237
LLaMA-Factory是一个开源的大规模语言模型微调框架，设计用于简化大模型的训练过程。它提供了一个统一的平台，支持多种大模型的微调，包括LLaMA、BLOOM、Mistral等，旨在帮助用户快速适应和调整这些模型以适应特定的应用场景。LLaMA-Factory通过提供一套完整的工具和接口，使用户能够轻松地对预训练的模型进行定制化的训练和调整，包括（增量）预训练、指令监督微调、奖励模型训练、PPO训练、DPO训练和ORPO训练等多种训练方法。
LMDeploy 量化部署 LLM&VLM 实践
2301_77641278的博客
04-16 2090
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。LMDeploy 由 MMDeploy和MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。
【大模型LLM第十二篇】模型部署框架之vLLM模型服务部署实战讲解
最新发布
AI蜗牛车
10-10 772
前言vLLM是用于LLM推理和服务的工具库。vllm由以下几点突出的“快”：最先进的服务吞吐量PagedAttention连续批处理传入请求快速模型执行以CUDA/HIP graph量化:GPTQ, AWQ, SqueezeLLM, FP8 KV缓存优化CUDA内核文档和代码：https://docs.vllm.ai/en/stable/https://github.com/vllm-projec...
第五节课——LMDeploy 量化部署 LLM 实践（笔记+作业）
qq_42866802的博客
06-10 392
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。
LMDeploy 量化部署 LLM-VLM 实践
2401_83218582的博客
04-15 393
参考文档：https://github.com/InternLM/Tutorial/blob/camp2/lmdeploy/README.md作业一：配置 LMDeploy 运行环境使用命令：studio-conda -t lmdeploy -o pytorch-2.1.2由于环境依赖项存在torch，下载过程比较缓慢，最终结果如下图：安装deployTransformer来直接运行InternLM2-Chat-1.8B模型：运行transformer.py文件中的内容，运行得到对话：进阶作业：设置KV C
第四节课《LMDeploy量化部署LLM&VLM实战》学习笔记
weixin_59512778的博客
04-16 754
LMDeploy是涵盖LLM任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和状态推理。
Interactive Natural Language Processing
c_cpp_csharp的专栏
06-27 1443
交互式自然语言处理（iNLP）已成为NLP领域的一种新范式，旨在解决现有框架中的局限性，同时与人工智能的最终目标保持一致。这种范式将语言模型视为能够反复观察、行动和接收来自外部实体的反馈的代理。具体而言，这种背景下的语言模型可以：（1）与人类互动，以更好地理解和解决用户需求，个性化响应，与人类价值观保持一致，并改善整体用户体验；（2） 与知识库互动，用事实知识丰富语言表达，增强反应的上下文相关性，并动态利用外部信息生成更准确和知情的反应；
NeuPIMs-提升LLM推理的NPU-PIM异构加速
m0_58966968的博客
04-09 1191
当交错发生时，NPU和PIM的利用率得到了提高，因为它们的执行有效地重叠了。我们的实证研究表明，交错期的NeuPIMs执行时间主要受到运行GEMM操作的NPU执行时间的限制，从而隐藏了MHA层执行的PIM执行时间。在这项工作中，我们提出了一个新的系统，NeuPIMs，它将NPU(通用ML加速器)与PIM技术集成在一起，以减轻与变压器层中不同操作及其数据流相关的限制。(b)描述了子批交错技术，该技术允许在PIM和NPU上的子批内分别同时执行PIM友好和NPU友好的操作，从而显著提高NPU和PIM的利用率。
vllm 加速推理通义千问Qwen经验总结
u010899985的博客
12-21 6692
curl请求 curl http://localhost:8000/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "Qwen/Qwen-14B-Chat-Int4-hf", "prompt": "San Francisco is a", "max_tokens": 7, "temperature": 0 }'解决方法：将序列中token按固定长度划分为多个块，并与系统内存进行映射，解决不连续填满问题。
华为昇腾NPU卡 大模型LLM ChatGLM2模型推理使用
weixin_42357472的博客
10-23 3643
参考：https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md#chatglm2-6b安装环境：昇腾NPU卡对应英伟达GPU卡，CANN对应CUDA底层；mindspore对应pytorch；
从vLLM到大模型推理的最新进展
2401_85325726的博客
08-09 829
大模型推理引擎经过一年多发展，进入了一个关键的调整期。一方面，针对定制集群的分离式架构出现，很多业务方自己定制更复杂的并行和调度方案。另一方面，LLM的用法更加复杂，催生了LLM Programs使用范式。此外，非NVIDIA的NPU如雨后春笋般涌现，它们独特的硬件特性亟待新的系统架构来充分挖掘与利用。在这一背景下，以vLLM为代表的开源LLM推理引擎正面临着前所未有的进化压力。而SGLang此次的升级，不仅从框架层面揭示了vLLM仍有巨大的提升潜力，也对LLM场景需求进行了一些探索，值得大家关注。
【大模型】什么是大模型框架？常用的大模型框架盘点对比
yuuuuuuuk的博客
07-06 3899
大模型框架是指用于训练、推理和部署大型语言模型（LLMs）的软件工具和库。这些框架通常提供了高效的计算资源管理、分布式训练、模型优化和推理加速等功能，以便更好地利用硬件资源（如GPU和TPU）来处理庞大的数据集和复杂的模型结构。大模型框架的优点高效性：通过优化计算和内存管理，这些框架能够显著提高训练和推理的速度。可扩展性：支持分布式训练，可以在多个GPU或TPU上运行，适用于大规模数据集和复杂任务。灵活性：提供丰富的API和工具，使得研究人员和工程师可以方便地进行定制化开发。
从LLM到大模型推理的最新进展
Aweii__的博客
08-04 945
大模型推理引擎经过一年多发展，进入了一个关键的调整期。一方面，针对定制集群的分离式架构出现，很多业务方自己定制更复杂的并行和调度方案。另一方面，LLM的用法更加复杂，催生了LLM Programs使用范式。此外，非NVIDIA的NPU如雨后春笋般涌现，它们独特的硬件特性亟待新的系统架构来充分挖掘与利用。在这一背景下，以vLLM为代表的开源LLM推理引擎正面临着前所未有的进化压力。而SGLang此次的升级，不仅从框架层面揭示了vLLM仍有巨大的提升潜力，也对LLM场景需求进行了一些探索，值得大家关注。
开发者实战丨用 OpenVINO™ + vLLM 在 酷睿™ Ultra 处理器上部署大语言模型（LLMs）...
OpenVINOCC的博客
09-02 226
点击蓝字关注我们,让开发变得更有趣作者 |虞晓琼 博士东莞职业技术学院OpenVINO™vLLM 简介vLLM 是一个由加州大学伯克利分校开发的用于快速实现的大语言模型 (LLMs) 推理和部署的开源框架，其优点有：高性能：实验结果显示，相比于最流行的 LLM 库 HuggingFace Transformers (HF)，vLLM 能够提供高达 24 倍的吞吐量提升。易于使用：vLLM 不需...
LLM+VLM代码示例
08-21
当然，我可以给你提供一些 VLM (Visual Light Communication) 和 LLM (Low Level Message) 的代码示例。以下是一个简单的VLM代码示例： ```python import time import RPi.GPIO as GPIO # 设置GPIO引脚 LED_PIN = 18 # 初始化GPIO GPIO.setmode(GPIO.BCM) GPIO.setup(LED_PIN, GPIO.OUT) def transmit_message(message): for char in message: # 将字符转换为二进制 binary = bin(ord(char))[2:].zfill(8) # 发送二进制信号 for bit in binary: if bit == '1': GPIO.output(LED_PIN, GPIO.HIGH) else: GPIO.output(LED_PIN, GPIO.LOW) # 控制发送速度（根据实际情况调整） time.sleep(0.1) # 两个字符之间的间隔时间（根据实际情况调整） time.sleep(0.5) # 发送消息 transmit_message("Hello, World!") # 清理GPIO资源 GPIO.cleanup() ``` 这个示例使用树莓派的GPIO引脚来模拟光通信，通过控制LED的亮灭来传输二进制信号。 以下是一个简单的LLM代码示例，这里假设你是在C语言环境下进行开发： ```c #include <stdio.h> #include <string.h> // 定义消息缓冲区大小 #define BUFFER_SIZE 100 void process_message(char* message) { // 在这里实现对消息的处理逻辑 printf("Received message: %s\n", message); } int main() { char buffer[BUFFER_SIZE]; // 模拟接收消息 printf("Enter a message: "); fgets(buffer, BUFFER_SIZE, stdin); // 去除换行符 buffer[strcspn(buffer, "\n")] = '\0'; // 处理消息 process_message(buffer); return 0; } ``` 这个示例是一个简单的命令行程序，通过用户输入来模拟接收消息，并在控制台上输出收到的消息。 希望这些示例能对你有所帮助！如果你有任何其他问题，可以继续问我。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值