书生·浦语大模型第五课笔记

最新推荐文章于 2024-10-02 22:45:05 发布
最新推荐文章于 2024-10-02 22:45:05 发布
阅读量600 收藏 12
点赞数 16
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gaxzj/article/details/135707056
版权
本文介绍了大模型部署的背景，特别关注了LMdeploy，一个专为英伟达平台设计的解决方案，其核心功能包括量化（如WeightOnly量化）、高效的推理引擎TurboMind以及推理服务。文中提及了针对大模型的多种技术策略，如模型并行化和优化算法。
摘要由CSDN通过智能技术生成

文章目录

大模型部署背景

   模型部署指得是将训练好模型部署到特定的软硬件环境中进行启动，对于大模型而言，其特点在于内存开销巨大，shape是动态，但是相对视觉模型，LLM的结构比较简单，大部分是decoder-only
在这里插入图片描述
目前针对大模型部署，常见的技术点包括模型并行，低比特量化，Page Attention， transformer 计算和访存优化，Continous Batch， 方案有常见lmdeploy，vllm，tensorrt-llm，deepspeed， 移动端有llama.cpp, mlc-llm
在这里插入图片描述

LMdeploy介绍

   LMdeploy是一个一个在英伟达部署的全流程解决方案，包括轻量化，推理和服务
在这里插入图片描述

核心功能—量化

LMDeploy相比其他框架具有不错的效果
在这里插入图片描述
在这里插入图片描述
LLM是典型的访存密集型任务
在这里插入图片描述
使用AWQ算法实现Weight Only量化
在这里插入图片描述

核心功能—推理引擎TurboMind

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

核心功能—推理服务 (api server)

在这里插入图片描述

gaxzj
关注
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1726
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
书生·浦语大模型 第五课 笔记
01-14 453
文档指导地址：https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md
书生浦语大模型实战营第四次课笔记
qq_40831032的博客
01-14 1256
以数据集为例基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。
书生·浦语大模型第三期实战营第三课笔记+作业
m0_53217058的博客
07-14 575
欢迎来到ShortStoryMasterA项目仓库！本项目旨在使用QLoRA或全量微调的方式，基于大语言模型“谱语”和整个技术栈制作一个短篇小说创作大师。我们的目标是通过优化和微调模型，生成多种类型的高质量短篇小说，满足不同读者的需求。
书生·浦语大模型实战营第四节课笔记及作业
zpc1219的博客
01-13 1122
大语言模型LLM是在海量的文本内容基础上，以无监督或半监督方式进行训练的。海量的文本内容赋予了大模型各种各样的行业知识。但是如果直接把大模型的知识用于生产实践，会发现回答不大满意。微调的目的就是让LLM在具体的场景或领域中能够得到更好的回答。
书生·浦语大模型训练营第五次课笔记
Adela0546的博客
02-03 373
LMDeploy大模型量化部署实践
书生浦语大模型实战营第三次课笔记
qq_40831032的博客
01-11 518
简介：LangChain 是一套专为 LLM 开发打造的开源框架，实现了 LLM 多种强大能力的利用，提供了 Chain、Agent、Tool 等多种封装工具，基于 LangChain 可以便捷开发应用程序，极大化发挥 LLM 潜能。这次课程介绍了基于InternLM和Langchain去搭建个人知识库。 1.LLM的局限性 2.RAG vs Finetune RAG指的是检索问答增强，Finetune是大模型微调 3.基于Langchain搭建RAG应用的流程 4.将个人数据转换
书生·浦语大模型训练营第三次课笔记
Adela0546的博客
01-13 1040
首先，对于以本地文档形式存在的个人知识库，会使用Unstructed Loader组件来加载本地文档，这个组件会将不同格式的本地文档统一转换为纯文本格式。然后通过Text Splitter组件对提取出来的纯文本进行分割成chunk，再通过开源词向量模型Sentence Transformer将文本段转化为向量格式存储到基于Chroma的相对数据库中。
书生·浦语大模型训练营第一次课笔记
Adela0546的博客
01-07 512
书生·浦语大模型介绍
【 书生·浦语大模型实战营】学习笔记（二）：轻松玩转书生·浦语大模型趣味Demo
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-05 1214
本文为实战营第二次课程笔记，主要分为两个部分，第一部分部署 InternLM2-Chat-1.8B 模型进行智能对话。第二部分为完成 Lagent 工具调用 数据分析 Demo 部署，后续系列会继续更新，欢迎大家交流！
书生·浦语大模型全链路开源体系（LLM/AGENT/多模态/应用部署）从入门到精通
熊猫小妖的AI世界
04-17 961
书生浦语LLM大模型教程
【课堂笔记】2_轻松玩转书生·浦语大模型趣味Demo
sxswz的博客
01-10 1046
什么是大模型?人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。特点及应用利用大量数据进行训练拥有数十亿甚至数千亿个参数模型在各种任务中展现出惊人的性能lnternLM模型全链条开源InternLM是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。基于InternLM训练框架，上海人工智能实验室已经发布了两个开源的预训练模型:InternLM-7B和InternLM-20B。
【第7节】OpenCompass 大模型评测实战
熊猫小妖的AI世界
04-24 892
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 457
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
江科大笔记—LED闪烁& LED流水灯& 蜂鸣器
m0_62005595的博客
09-28 486
LED闪烁& LED流水灯& 蜂鸣器
【韩顺平Java笔记】第6章：数组、排序和查找
最新发布
随手写写
10-02 716
排序是将多个数据，依指定的顺序进行排列的过程。
Spring（学习笔记）
m0_74728220的博客
10-02 1001
context:annotation-config/>是 Spring 配置文件中的一个标签，用于开启注解配置功能。这个标签可以让 Spring 容器识别并处理使用注解定义的 bean。例如，可以使用 @Autowired 注解自动装配 bean，或者使用 @Component 注解将类标记为 bean 等。为什么加载上下文的时候，被包含的Bean它的构造函数的代码会执行呀？好像是很多代码都执行了！！！没有无参构造，有有参构造会报错！也就是说必须要有无参构造！这是为什么呀！
Coursera_ Algorithms I 学习笔记：Module_3_Analysis_of_Algorithm_Introduction
approximately_的博客
09-29 1182
Coursera_ Algorithms I 学习笔记：Module_3_Analysis_of_Algorithm_Introduction
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值