LMDeploy量化部署实践

最新推荐文章于 2024-08-22 07:51:42 发布
最新推荐文章于 2024-08-22 07:51:42 发布
阅读量296 收藏 3
点赞数 4
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_78174402/article/details/141257238
版权

操作链接：Tutorial/docs/L2/LMDeploy/readme.md at camp3 · InternLM/Tutorial (github.com)

50%A100*1 建立机器

1. LMDeploy验证启动模型文件

InternStudio提供的资源监控

权重占用14GB，剩余显存40-14=26GB，因此kv cache占用26GB*0.8=20.8GB，加上原来的权重14GB，总共约占用34.8GB。

2. LMDeploy API部署InternLM2.5

部署InternLM2.5模型

端口映射

以Gradio网页形式连接API服务器

设置最大kv cache缓存大小，减小到25788

设置在线 kv cache int4/int8 量化

W4A16 模型量化和部署

W4A16 量化+ KV cache+KV cache 量化

3.LMDeploy之FastAPI与Function call

API开发

Function call

2301_78174402
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
05-14 周二 LMdeploy 部署量化和实战
05-16
内容为使用lmdeploy进行部署，量化和推理的整体描述，并且基于服务器进行了实践
基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）
03-06
本项目聚焦于四个关键技术：模型剪枝、模型量化、批归一化（BN）层的合并以及使用TensorRT进行部署，这些技术都是针对PyTorch框架进行的。下面将详细解释这四个方面的知识。 1. **模型剪枝**： 模型剪枝是一种优化...
基于ncnn部署yolov5及量化
02-15
本文将深入探讨如何基于ncnn框架部署Yolov5模型，并对其进行量化，以实现高效的移动端或嵌入式设备推理。ncnn是腾讯优图团队开发的一款高性能、轻量级的C++推理框架，特别适合于移动平台。 首先，我们要理解Yolov5...
量化投资数据挖掘技术与实践MATLAB
07-22
资源名称：量化投资 数据挖掘技术与实践 MATLAB内容简介：全书内容分为三篇。*篇为基础篇，主要介绍量化投资与数据挖掘的关系，以及数据挖掘的概念、实现过程、主要内容、主要工具等内容。第二篇为技术篇，系统介绍...
深度学习实践-模型部署优化实践
07-30
本实践主要关注如何将深度学习模型，特别是YOLO（You Only Look Once）模型，部署到生产环境中，并进行性能优化。下面将详细讨论相关知识点。 首先，YOLO是一种实时目标检测算法，它在保持高检测速度的同时，还能...
【大模型理论篇】大模型时代下Bert去哪啦？
weixin_65514978的博客
08-20 1346
bert、自然语言处理、transformer、encoder、gpt、decoder、nlu、nlg、微调、fine-tuning
零基础学习人工智能—Python—Pytorch学习（六）
kiba518的博客
08-21 480
前言 本文主要讲神经网络的上半部分。 这篇文章开始有很多公式了，这些公式都很简单，但是如果是不经常在脑海里思考公式的人，那可能需要多花点时间做一下自我训练，个人感觉，也就几天时间，就能把自己感觉给调整出来。 习惯了公式看下面内容就会轻松很多，另外如果要深入学习人工智能，熟练的认知公式也是个必须的事情。 另外，我发现我前面文章写的有歧义的地方还是挺多，虽然，已经改了一部分，但，可能还有没发现的，大...
24 优化算法
kaszxc的博客
08-19 452
深度学习模型大多是非凸的所以关于凸优化的很多理论无法使用小批量随机梯度下降是最常用的优化算法冲量对梯度做平滑冲量法是一个简单的稳定优化的算法Adam 对梯度做平滑，且对梯度各个维度值做重新调整通过实践发现，Adam 不一定比冲量法准确率高或者是收敛快，但是整体来讲 Adam 是比较稳定的，Adam 对学习率不那么敏感，使得调参相对来讲会更加容易一点范围之中（进行维度上的调整）分母中的 ε 的作用是保证分母不等于零。
天猫商品详情API：深度挖掘商品推荐与关联的新路径
2401_85789772的博客
08-20 633
天猫商品详情API是天猫开放平台提供的一项服务，旨在帮助开发者获取天猫平台上商品的详细信息，包括但不限于商品标题、价格、销量、描述、图片以及推荐与关联商品等。这一接口不仅为购物者提供了丰富的商品信息，也为商家和开发者提供了强大的数据支持，助力其优化商品展示策略，提升用户购物体验。天猫商品详情API为开发者提供了深入挖掘商品推荐与关联信息的新途径。通过合理利用这一接口，开发者可以实现精准的商品推荐与关联展示，提升用户体验和平台运营效率。
吴恩达机器学习-C2W2-Relu(线性整流函数)
weixin_50946965的博客
08-18 1328
吴恩达机器学习实验室中文翻译-C2W2-Relu
基于Python星载气溶胶数据处理与反演分析
lwjnlqiqi的博客
08-21 1023
Python星载气溶胶数据处理与反演分析
AI秘境-墨小黑奇遇记 (五)：数值微分的挑战与心灵的涟漪
蒾途尐書瞳的专栏
08-18 824
清晨的阳光透过宿舍的窗帘洒在墨小黑的脸上，他缓缓睁开眼睛，思绪还停留在昨晚的讨论中。与此同时，实验室的另一头，小冬正在忙着他的实验，他性格沉稳，总是喜欢把事情做得井井有条。于是他回复道：“好的，我马上出来。”艺术家撇了撇嘴，脸上的笑容却依旧，“不过我说真的，小黑，你也该放松一下了，这样搞下去可不好。墨小黑终于停下了手中的工作，回过头来看着艺术家，“抱歉，我现在没时间玩游戏，得先搞定这些数值微分。墨小黑将他在实验室的困境一一讲述，关于数值微分的复杂性、偏导数的难点，还有那些似乎无解的代码问题。
基于YOLO V8的PCB缺陷检测识别系统（python源码+Pyqt5界面+数据集+训练代码）
最新发布
2401_83580557的博客
08-22 254
基于YOLO V8的PCB缺陷检测识别系统【python源码+Pyqt5界面+数据集+训练代码】
Transformer经典模型实战：零基础训练一个面向中文的T5模型（Text to Text Transfer Transformer）
bayesian1的博客
08-20 1031
Transformer经典模型实战：零基础训练一个面向中文的T5模型（Text to Text Transfer Transformer），通过构建T5模型，采用中文重写任务的数据集进行训练，模型效果非常好，貌似还涌现出了一定的创造力。
AI跨境客服助力企业出海解决客服难题！
zhoguancunkj的博客
08-20 514
跟大家讲一个关于出海品牌客户的案例，客户非常的厉害，我国的眼镜及相关配件出口世界第一，但眼镜品牌却比较少，这个客户他们突破了有类物品的尴尬局面，目前服务的国家和地区有150个，全球累计用户500W+，他们的客户访问量可想而知非常高，这对他们之前的客服系统挑战非常大，就算遇到高峰期也不用担心，机器人将意向客户转接给人工客服，提升效率！Chatbot智能文本机器人基于大模型，将效率提升约80%，在时间上大大缩减，并且大模型的知识库不断增强，Chatbot智能文本机器人服务效果也持续接近人。
图卷积神经网络算法
2401_85886655的博客
08-21 514
元学习，自监督学，transformer，lstm，cnn，bert，GAN，强化学习 图神经网络推荐算法。图神经网络 图卷积神经网络 GNN GCN 算法 咨询 图卷积神经网络（GCN） python D码，应用于节点分类。元学习，自监督学，transformer，lstm，cnn，bert，GAN，交通预测 强化学习 图神经网络推荐算法。lightGCN NGCF 创新点1-3 movielen-1m数据集 指标：recall、ndcg。具体价格根据难易程度定。
CAS-ViT实战：使用CAS-ViT实现图像分类任务（一）
m0_47867638的博客
08-21 831
EMA是一种加权移动平均技术，其中每个新的平均值都是前一个平均值和当前值的加权和。在深度学习中，EMA被用于模型参数的更新，以减缓参数在训练过程中的快速波动，从而得到更加平滑和稳定的模型表现。
CAS-ViT实战：使用CAS-ViT实现图像分类任务（二）
m0_47867638的博客
08-22 599
训练部分。
深入探索 PyTorch：torch.nn.Parameter 与 torch.Tensor 的奥秘
2401_85742452的博客
08-19 584
PyTorch 是一个基于Torch库的开源机器学习库，广泛用于计算机视觉和自然语言处理领域的研究和生产。它提供了强大的GPU加速的张量计算能力，以及构建深度学习模型的动态计算图。通过本文的深入分析，我们了解到和在 PyTorch 中扮演着不同的角色。Parameter用于定义模型的参数，而Tensor用于一般的数值计算。理解它们之间的区别对于构建和训练深度学习模型至关重要。
yolov6量化部署
09-15
对于Yolov6的量化部署，您可以按照以下步骤进行操作： 1. 数据预处理：首先，将用于训练和评估的图像数据进行预处理，包括缩放、归一化和格式转换等操作。 2. 模型训练：使用标注好的图像数据集对Yolov6模型进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值