书生浦语第五课笔记

最新推荐文章于 2024-08-17 17:03:35 发布
最新推荐文章于 2024-08-17 17:03:35 发布
阅读量242 收藏
点赞数 2
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liusao123/article/details/138047801
版权
本文介绍了在处理大模型时，如LLM-VLM，面临的挑战，包括参数量过大和访问瓶颈。文章详细探讨了模型减枝、知识蒸馏和模型量化（整数化）等优化方法，并重点概述了LMDeploy的核心功能以及其在性能上的对比。实战部分将作为后续作业呈现。
摘要由CSDN通过智能技术生成

LMDeploy量化部署LLM-VLM实践课程笔记

大模型面临的挑战

  • 参数量巨大

  • 访问瓶颈及动态请求

优化方法：

  • 模型减枝 (减少模型参数)

  • 知识蒸馏(减少模型参数)

  • 模型量化（将浮点数转化为整数）

LMDeploy简介：

  • lmdeploy核心功能

  • 性能对比

实战部分随后见作业

cywin
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
书生·浦语大模型第二课
03-04
根据提供的信息，“书生·浦语大模型第二课”似乎是指一次课程或者教学活动的内容，主要涉及“浦语大模型”的相关内容。虽然提供的信息较为有限，但从这些线索中，我们可以推测出这可能是一次关于自然语言处理（NLP...
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生浦语第五课学习笔记&作业
m0_37645063的博客
06-10 1155
知识蒸馏（Knowledge Distillation）是一种模型压缩和迁移学习的方法，其核心概念是通过一个性能较好的大模型（通常称为“教师模型”或“Teacher Model”）来指导一个较小模型（通常称为“学生模型”或“Student Model”）的训练，以期达到更好的性能和精度。模型访存量指的是模型在计算时所需访问存储单元的字节大小。通常用Bytes（或者KB/MB/GB）来表示，即模型计算到底需要存/取多少Bytes的数据。本节课学习模型部署、模型计算资源简单测算及lmdeploy的使用。
书生浦语第三课学习笔记&作业
m0_37645063的博客
06-05 1194
--------------------------------------------------------------笔记------------------------------------------------------------课程讲义地址：Tutorial/huixiangdou at camp2 · InternLM/Tutorial · GitHubRAG技术概述RAG）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决。
书生浦语第一课学习笔记&作业
m0_37645063的博客
06-12 140
本次参加由上海人工智能实验室和商汤科技联合研发的一款大模型——书生浦语的第二期课程班。希望能通过本次课程了解人工智能开发、部署、调试、测评方面的知识，开拓工作思路。6、Lagent支持多种智能体输入。5、opencompass榜单。1、大模型发展时间戳。2、书生浦语开源历程。
书生浦语第七课学习笔记&作业
m0_37645063的博客
06-12 148
----------------------------------------------------------笔记---------------------------------------------------------------------------------------------------------------------------作业----------------------------------------------------------------
书生浦语第五课
2301_80328620的博客
06-27 310
包括量化感知训练(量化目标无缝地集成到模型的训练过程中)、量化感知微调(确保微调的LLM仍能保持性能)和训练后量化(减少LLM的存储和计算复杂性，而无需对LLM架构进行修改或进行重新训练)(1) 模型剪枝：减少模型中贡献有限的冗余参数，保证性能下降最低的情况下减少存储需求，提高计算效率。(2) 知识蒸馏：直接训练参数量小的模型难度大，可以先通过训练参数量大的模型，再让大模型训练小模型就可以提高效率。4. LMDeploy：(1) 核心功能：模型高校推理、模型量化压缩、服务化部署。(1) 计算量巨大。
书生·浦语大模型 第五课 笔记
01-14 423
文档指导地址：https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md
书生·浦语LLM 第五节课笔记
weixin_45571283的博客
04-27 281
运行方式对比LMDeploy加载模型76-95s46s生成故事19s3-4s显存限制对比无限制0.10.01显存占用785649444560生成小故事速度约4s约4s约4s。
书生浦语第七次笔记
invgh的博客
04-24 182
挑战有全面性，评测成本，数据污染，鲁棒性。
书生浦语第四次笔记
invgh的博客
04-23 258
这个InternLM2 1.8B模型相较于其他模型来说，他有选择多样性，可以更方便于不同的用户选择。2.LLaVa方案简介。
书生浦语一期作业和笔记
01-30
【书生浦语一期作业和笔记】是一份与学习 InternLM 相关的资源集合，主要包含书生浦语在学习过程中完成的一期作业及笔记。InternLM 是一个深度学习模型，尤其在自然语言处理（NLP）领域具有重要地位。这份资料能够...
书生浦语大模型实战课 第二课作业（更新）
04-04
### 书生浦语大模型实战课程第二课作业解析与技术难点详解 #### 一、课程背景概述 在书生浦语大模型实战课程中，第二课主要涉及模型的部署与调试过程。本次作业旨在通过实际操作加深学员对模型部署流程的理解，并...
书生浦语大模型实战课（第二期） 第二课作业
04-04
### 书生浦语大模型实战课（第二期）第二课作业知识点总结 #### 一、使用Powershell配置端口及权限问题处理 在学习过程中，遇到的第一个问题是在使用Powershell配置端口时出现问题，尝试修改端口号并复制密码，但...
哈希原理(笔记)
最新发布
m0_62024160的博客
08-17 810
尤其应该注意Hash function的设计，它是一个难点，Hash funtion设计好坏直接关乎哈希表查询速度的快慢。考虑到哈希碰撞(涉及到对链表的操作)，所以最坏的时间复杂度都是O(n)。早期的md5被破解也是因为人们搞清楚了它的加密方法 f(1) )大多利用单向散列函数函数。(简称为f(2) )计算查询哈希碰撞确认某个哈希值的存在，但是无法通过 f(2)逆推出明文(因为 f(2)只是验证方法，而非解密方法)。(本图来源：wiki)这个签名是由文件的散列值通过发布者的私钥加密生成的。
谷粒商城实战笔记-175~177-商城业务-检索服务-检索查询接口开发
epitomizelu的专栏
08-13 779
搜索页面搭建完成之后，点击搜索按钮，发送参数给后台服务，后台服务根据参数从Elasticsearch中查询符合条件的数据，返回给前端。
经验笔记：URI、URL、URN与URC之间的区别
qq_45831414的博客
08-14 596
URI是一种通用的标识符，可以指代任何类型的资源。URL是一种特定类型的URI，它不仅标识资源，还提供了访问该资源的方法。URN是一种用于唯一命名资源的特殊URI类型。URC是一个概念性的术语，用于描述如何构建或创建资源的过程。通过理解这些概念的区别，我们可以更加清晰地识别和使用互联网资源的标识方式。在日常工作中，我们最常遇到的是URL，因为它们是我们访问网页和其他在线资源的基础；而URN则在需要持久引用资源的情况下使用。
C++_基本语法笔记_继承和多态
qq_45629864的博客
08-13 563
思想与Java差不多。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值