LLM推理优化技术方向小结

最新推荐文章于 2024-09-14 17:34:13 发布
最新推荐文章于 2024-09-14 17:34:13 发布
阅读量284 收藏
点赞数 1
分类专栏： 大模型部署 文章标签： transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stephen147/article/details/140254445
版权

LLM推理优化我认为总共可以分为以下几个方面：

  • 优化KV Cache
    • MQA
    • GQA
    • MLA
  • 调度
    • Continuous batching
    • KIMI的调度系统Mooncake
  • 魔改模型结构或者魔改 attention 计算
    • MOE架构
    • flash attention
    • paged attention
  • 量化
    • AWQ
    • GPTQ
  • 其他角度
    • 一次解码 n 个 token 来尽可能充分利用子回归解码中没有充分利用的算力
      • 投机采样
      • Lookahead Decoding
      • Prompt Decoding
seetimee
关注
专栏目录
[LLM性能优化]聊聊长文本推理性能优化方向
人工智能曾小健
07-17 1175
但是，如果我们利用 MQA 共享头的特性，将 Grid Size 设置为 [B] ，那么一个 Thread Block 的三个输入矩阵 q,k,v 的 Shape 将为 [N∗q_len,H]、[kv_len,H]、[kv_len,H]， q_len 相比 MHA 实现"提升"了 N 倍，算术强度也提升接近N 倍，可以降低访存开销。，得到注意力层的输出矩阵。，不参与注意力计算，在保证模型效果的前提下压缩 KVCache 长度，从而在一定量的显存下保存更多的 Token，提高长文本的推理效率。
基于LLM的优化器评测-凸函数
Hi20240217的博客
05-28 783
很多时候我们需要为系统寻找最优的超参.比如模型训练,推理的量化等.本文尝试将LLM当成优化器,帮忙我们寻找最优的超参
基于LangChain+LLM的相关技术研究及初步实践
python12222_的博客
09-06 1664
大模型是指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。大模型的设计目的是为了提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。大模型在各种领域都有广泛的应用，包括自然语言处理、计算机视觉、语音识别和推荐系统等。大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测。
LLM大模型技术实战6：一文总结大模型微调方法
2401_84495872的博客
05-06 1549
大模型会成为AI时代的一项基础设施。作为像水、电一样的基础设施，预训练大模型这样的艰巨任务，只会有少数技术实力强、财力雄厚的公司去做。绝大多数人，是水、电的应用者。对这部分人来说，掌握如何用好大模型的技术，更加重要。用好大模型的第一个层次，是掌握用好大模型的第二个层次，是，这也是今天这篇文章的主题。为什么要对大模型进行微调通常，要对大模型进行微调，有以下一些原因：第一个原因是，因为大模型的参数量非常大，，每家公司都去从头训练一个自己的大模型，这个事情的性价比非常低；第二个原因是，。
LLM--提示词Propmt的概念、作用及如何设计提示词
penriver的博客
03-31 3181
一种用于`指导`人工智能（如聊天机器人或图像生成工具）`生成特定内容`的文字。 **提示词**的设计旨在以一种`高效`、`精确`的方式向模型传达用户的`意图`或所需的`任务类型`，从而使模型想你所想。 有关如何写好提示词，请学习[面向开发者的大模型手册 - LLM Cookbook](https://github.com/datawhalechina/llm-cookbook)，设计高效 Prompt 的两个关键原则：**编写清晰、具体的指令**和**给予模型充足思考时间**
多模态大模型是新一代人工智能技术范式
热门推荐
weixin_43178406的博客
05-02 5万+
 本文主要介绍了推开通用人工智能大门，多模态大模型是新一代人工智能技术范式，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 2.4 适合读者
Physics of Language Models学习小结
wanxueyao的博客
08-26 1212
对这部分进行概括的话就如摘要所说设计了受控实验来研究生成式语言模型（如 GPT）如何学习上下文自由语法（CFG）。上下文无关文法（Context-Free Grammar，CFG）是一种用于描述语言结构的形式语法，广泛应用于自然语言处理、编译原理等领域。CFG由一组产生式规则组成，这些规则定义了语言的语法结构。在CFG中，每个产生式规则具有形式“A → α”，其中A是非终结符，α是终结符或非终结符的序列1。
基于大模型（LLM）的Agent 应用开发
2301_81940605的博客
05-01 1642
目前，业界一般认为基于大模型的应用集中在两个方向上：RAG 和 Agent，无论哪一种应用，设计、实现和优化能够充分利用大模型(LLM)潜力的应用都需要大量的努力和专业知识。
LLM主要类别架构
2401_85373898的博客
06-13 1011
LLM本身基于transformer架构。自2017年，attention is all you need诞生起，transformer模型为不同领域的模型提供了灵感和启发。基于原始的Transformer框架，衍生出了一系列模型，一些模型仅仅使用encoder或decoder，有些模型同时使encoder+decoder。💫LLM分类一般分为三种：自编码模型（encoder）、自回归模型(decoder)和序列到序列模型(encoder-decoder)。
LLM的工作原理详解
全世界的博客
09-14 421
在自然语言处理（NLP）中，token是指文本的最小单位。它可以是一个单词、一个字符，甚至是一个子词（subword）。例如，句子“我喜欢学习新知识”可以被token化为：“我”，“喜欢”，“学习”，“新”，“知识”。Tokenization是NLP中的第一步，它将连续的文本分割成离散的token。这些token随后会被用于模型的输入，以便模型能够理解和处理文本。Transformer模型在摘要生成任务中能够自动提取文本中的关键信息，生成简洁、准确的摘要。LLM的发展之路充满了机遇与挑战。
总结：大模型技术栈---算法与原理
安静的软件工程师
03-06 1469
总结：大模型技术栈---算法与原理
万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南
丨汀、的博客
09-05 390
万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南
从传统RAG到Graph RAG：知识图谱技术驱动下的链路转型与融合策略[DB-GPT、OpenSPG、Tugraph三合一]
丨汀、的博客
09-10 177
从传统RAG到Graph RAG：知识图谱技术驱动下的链路转型与融合策略
AI大模型应用入门实战与进阶：大模型在医疗影像分析中的应用
AI天才研究院
01-09 1182
1.背景介绍 医疗影像分析是一种利用计算机辅助诊断和治疗疾病的方法，主要通过对医疗影像数据进行处理、分析和挖掘，以提高医疗诊断和治疗的准确性和效率。随着人工智能技术的不断发展，大模型在医疗影像分析中的应用也逐渐成为一种主流方法。这篇文章将从入门级别到进阶级别，详细介绍大模型在医疗影像分析中的应用，包括背景、核心概念、算法原理、具体操作步骤、代码实例、未
comsol模拟不同形状晶粒的煤体、岩体、土体的水力压裂、煤层压裂相场本构模型，内含不同尺寸的骨料、晶粒 案例文件众多，包含不
最新发布
10-10
comsol模拟不同形状晶粒的煤体、岩体、土体的水力压裂、煤层压裂相场本构模型，内含不同尺寸的骨料、晶粒。 案例文件众多，包含不同尺寸方形晶粒、圆形晶粒、椭圆形晶粒、微小晶粒等。
病房管理系统 SSM毕业设计 源码+数据库+论文（JAVA+SpringBoot+Vue.JS）.zip
10-09
病房管理系统 SSM毕业设计 源码+数据库+论文（JAVA+SpringBoot+Vue.JS） 启动教程：https://www.bilibili.com/video/BV1GK1iYyE2B
技术资料分享非常好的通俗易懂的开关电源原理与维修5.zip
10-09
技术资料分享非常好的通俗易懂的开关电源原理与维修5.zip
使用固体氧化物燃料电池供电的数据中心的废热来冷却其服务器的集成系统的设计Matlab代码.rar
10-09
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
参数量LLM推理需要多
07-25
LLM（Language Model）推理所需参数数量因模型的不同而异，但通常来说，现代大型预训练语言模型如GPT-3、T5、通义千问等，它们的参数量非常大，动辄数亿乃至数十亿参数。例如： 1. **通义千问**：该模型具有数百亿...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值