书生·浦语大模型实战营-学习笔记5

最新推荐文章于 2024-07-10 22:11:08 发布
最新推荐文章于 2024-07-10 22:11:08 发布
阅读量468 收藏 9
点赞数 6
分类专栏： 大模型 文章标签： 学习 笔记 自然语言处理 chatgpt 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37397652/article/details/135778297
版权
本文介绍了LMDeploy在大模型部署中的实践，重点关注其量化技术，通过INT4和FP16的混合使用减少显存消耗，以及高效的推理引擎设计。还提供了GitHub上的实践教程链接。
摘要由CSDN通过智能技术生成

LMDeploy 大模型量化部署实践

在这里插入图片描述

在这里插入图片描述

大模型部署背景


在这里插入图片描述

LMDeploy简介

轻量化、推理引擎、服务
在这里插入图片描述
在这里插入图片描述

核心功能-量化

显存消耗变少了
在这里插入图片描述
在这里插入图片描述
大语言模型是典型的访存密集型任务，因为它是decoder-by-decoder

先把数据量化为INT4存起来，算的时候会反量化为FP16
在这里插入图片描述
AWQ算法：观察到模型在推理过程中，只有一小部分参数是重要的参数，这部分参数不量化，其他的参数量化，这样保留了显存，性能也不会下降多少

核心功能-推理引擎

在这里插入图片描述
不用等到整个batch结束
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

核心功能-推理服务api server

在这里插入图片描述

动手实践环节

https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md

Kinno酱
关注
  • 6
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
书生·浦语大模型实战营-学习笔记6
qq_37397652的博客
01-24 488
可以基于正则表达式的方式，提取模型的回答，只要在模型的回答中提取到北京这个关键词，就认为模型在客观上答对了这道题。就可以去统计所有题目在客观上的准确率，这样是客观评测的方式。 另一种对模型进行评测的方式：可以使用Prompt Enginnering方法测试模型对Prompt的敏感性。同一个问题有多种问法，有多种Prompt的表达方式，预期模型在这5种问题下的回答都是一样的，都能答对。如果只是简单的换了一种Prompt的问法，模型就答错了的话，说明模型的鲁棒性很差。 https://github
书生·浦语大模型实战营-学习笔记3
qq_37397652的博客
01-15 1118
如何快速高效的开发RAG应用？开发者可以直接将私域数据嵌入LangChain中的组件，通过将这些组件进行组合，生成适合来构建适用于自己业务场景的RAG应用对于以本地文档形式存在的个人知识库，会使用组建来加载本地文档，这个组件会将不同格式的本地文档统一转换为纯文本格式；然后使用对提取出来的纯文本进行分割成Chunk，再通过开源词向量模型将文本段转换为向量格式，存储到基于Chroma的向量数据库VectorDB中。接下来，对于用户的每一个输入Query，会首先通过。
书生·浦语大模型实战营-学习笔记2
qq_37397652的博客
01-11 569
目录轻松玩转书生·浦语大模型趣味Demo1. 大模型及 InternLM 模型介绍2. InternLM-Chat-7B 智能対话 Demo3. Lagent 智能体工具调用 Demo4. 浦语•灵笔图文创作理解 Demo5. 通用环境配置6. 课后作业 视频地址： (2)轻松玩转书生·浦语大模型趣味Demo 文档教程： https://github.com/InternLM/tutorial/blob/main/helloworld/hello_world.md 轻松玩转书生·浦语大模型趣味Demo
书生·浦语大模型实战营-学习笔记4
qq_37397652的博客
01-20 541
【代码】书生·浦语大模型实战营-学习笔记4。
书生浦语大模型实战课 第二课作业（更新）
04-04
书生浦语大模型实战课 第二课作业（更新）
书生浦语大模型实战课（第二期） 第二课作业
04-04
书生浦语大模型实战课（第二期） 第二课作业
书生·浦语大模型第二课
03-04
书生·浦语大模型第二课
Lumos学习王佩丰Excel第四讲：排序与选择
最新发布
Sunshine_XX的博客
07-10 171
自定义排序演示：工资条拆分的演示：如果遇到很长的表，标题只存在于顶端，打印出来观感不好，可以这样做：有些版本的excel复制筛选数据容易把背后隐藏的所有数据都复制上去，这时可选中定位条件的“可见单元格”选项，复制粘贴即可。并排表示且，错排表示或。ctrl+shift+↓+→全选，演示说明：回头学原理，先记住一句话，要想筛选对，条件表头不要对。
Autoware.universe 高效学习第三章 -- 智驾技术务虚会之智驾技术栈讨论 其一
cy1641395022的博客
07-10 440
Autoware.universe 高效学习第三章 -- 智驾技术务虚会之智驾技术栈讨论 其一
css样式学习样例之边框
abments的博客
07-07 831
css样式学习样例之边框
JMH320【亲测】【御剑九歌】唯美仙侠手游御剑九歌+WIN学习手工端+视频教程+开服清档+运营后台+授权GM物品充值后台
m0_71430218的博客
07-05 393
JMH320【亲测】【御剑九歌】唯美仙侠手游御剑九歌+WIN学习手工端+视频教程+开服清档+运营后台+授权GM物品充值后台
学习小记-Netty
weixin_42029860的博客
07-06 223
Netty是由JBOSS个java开源框架，Netty提供异步的、事件驱动的网络应用程序框架，用以快速开发高性能、高可靠性的网络服务器和客户端程序。
短链接学习day2
weixin_63374588的博客
07-05 889
需要注意的是，转换过程中，BeanUtil.toBean()方法通过反射机制创建了目标类型的实例，并将数据源对象的属性值复制到目标对象中。但是为了防止redis的主节点挂掉后，从节点变成主节点时，有些数据还没复制，就会导致脏数据，就会可能导致用户名重复，所以为了防止这个情况，我们需要将username设置为唯一索引，让数据库兜底。因为用户名不是特别重要的数据，如果说我设置用户名为 aaa，系统返回我不可用，那我大可以在 aaa 的基础上再加一个a，也就是 aaaa。一定要记得写枚举的时候是用逗号分割。
【安卓学习】文本切换器
m0_73241073的博客
07-08 587
文本切换器的使用
NPDP含金量高吗？什么人适合学习NPDP？
PMP项目管理的博客
07-09 694
开始报名后先提交报名资料，通过审核后缴纳考试费用，即算报名成功；如果报名成功后被抽中审核了的话，则须提交相关资料进行资格审查，通过审查即可参加考试，未通过审核则会将考试费用退还给您；
学懂C#编程：常用框架学习（二）——初学者如何学习WPF之MVVM模式
martian665的专栏
07-10 317
初学者如何学习WPF之MVVM模式

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值