【Deepseek学习大模型推理】 MLA中矩阵吸收原理。

最新推荐文章于 2025-05-17 22:15:01 发布
最新推荐文章于 2025-05-17 22:15:01 发布
阅读量214 收藏
点赞数 2
分类专栏： 大模型推理 文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38662930/article/details/146200150
版权

在这里插入图片描述
在这里插入图片描述
有了以上基础，再理解里面的吸收原理。https://spaces.ac.cn/archives/10091

(24-3-02)DeepSeek中的强化学习：DeepSeek推理模型（2）推理模型的相关技术
码农三叔
03-03 266
DeepSeek的旗舰推理模型DeepSeek-R1，在DeepSeek-R1-Zero的基础上进行了改进，加入了额外的监督微调(SFT)和强化学习(RL)，以提高其推理性能。总之，DeepSeek R1 中的混合专家（MoE）架构通过将海量参数分散到多个专家子网络中，并在推理时仅激活最合适的那部分，从而在保证模型强大能力的同时，实现了低计算成本和高推理效率。综上所述，MLA对模型推理速度的影响是显著的，不仅提升了推理速度，还降低了资源消耗，同时保持了模型的高性能表现。（4）在实际应用中的表现。
deepseek技术解读(1)-彻底理解MLA（Multi-Head Latent Attention）
zenRRan的博客
01-15 1万+
知乎：姜富春（已授权）链接：https://zhuanlan.zhihu.com/p/16730036197编辑：「深度学习自然语言处理」公众号引言deepseek最近比较出圈，本人也一直关注deepseek发布的一些技术报告。在模型训练、推理性能和计算成本上一直能给大家惊喜。读了deepseek的技术报告，我个人有两个比较强的感受。第一：deepseek在模型细节上扣的比较极致，魔改了一些模型框...
MLA——一文通透DeepSeek V2中的多头潜在注意力MLA：改进MHA，从而压缩KV缓存，提高推理速度(含让任何LLM都能用上MLA的方法)
热门推荐
结构之法 算法之道
08-26 3万+
成就本文有以下三个因素校长最近开始搞deepseek了吗？刚看了论文，没搞懂MLA那块的cache是怎么算的，我总觉得他的效果应该类似MQA才对，但是反馈是挺好的目前团队项目上的事情太多，然后近期在写那个KAN确实还没来得及看这个deepseek，我近期看下而搞之前——近几天，会先写一下它的论文解读，故本文就来了且一如既往做到，对于几乎每一个主题，都做到本博客万千读者或七月学员所说的：“还是看校长的文章好理解”，如有任何问题或任何不懂的地方，可以随时留言/评论，我会找时间尽快回复。
多渠道归因分析：python实现马尔可夫链归因（三）
素质云笔记
05-26 5517
本篇主要是python实现马尔科夫链归因， 1 关联理论 参考：数据运营36计：马尔可夫链对营销渠道归因建模，R语言实现 马尔可夫链是一个过程，它映射运动并给出概率分布，从一个状态转移到另一个状态。马尔可夫链由三个属性定义： 状态空间：处理可能存在的所有状态的集合 转移概率：从一个状态转移到另一个状态的概率 当前状态分布 - 在过程开始时处于任何一个状态的概率分布 那么用户行为路径中的每个渠道可以看作这里的每个状态。在知道状态空间的情况下，所求的渠道贡献率就是每条路径的转移概率。所以马尔可夫链模型可以用
DeepSeek V2/V3中的MLA和Matrix Absorption
世事难料，保持低调
02-04 1287
DeepSeek V3的网络结构基本沿用了DeepSeek V2，采用了MLA和DeepSeekMoE两大特性。本文主要涉及MLA（Multi-Head Latent Attention）。抛开维度变化，DeepSeek V3与V2在MLA结构上差别不大。详细请参见官方论文《DeepSeek-V3 Technical Report》和《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model》。
大模型KV Cache节省神器MLA学习笔记（包含推理时的矩阵吸收分析）
I good vegetable a!
06-17 1万+
这篇文章主要是对Deepseek2提出的优化KV Cache的MLA方法做个人理解，特别是关于MLA的矩阵吸收部分，这部分Paper以及官方开源实现没有给出。然后，开源社区大佬确实出手很快，在知乎的《如何看待 DeepSeek 发布的 MoE 大模型 DeepSeek-V2？
大模型推理--MLA
姚光超的专栏
09-19 4401
本来想写一篇KV Cache压缩的综述性博客，结果写到MLA部分的时候发现越写越多，完全值得单独拿出来写篇博客，遂从KV Cache压缩博客中单独揪出MLA进行介绍。MLA(Multi-query Latent Attention)是国内创业公司deepseek在24年5月份发布的大模型中用到的KV Cache压缩技术，正是在该技术的加持下DeepSeek-V2可以大幅压缩KV Cache的大小，进而大幅提升吞吐量，也正是从该模型开始，大模型推理的价格一下降低到一个很低的水平。
Deepseek的MLA技术原理介绍
kcarly的专栏
02-10 1916
MLA技术是DeepSeek模型的重要创新点之一，通过低秩联合压缩和潜在变量映射，实现了KV缓存的有效压缩和计算效率的提升。这一技术不仅降低了推理成本，还为处理长序列数据提供了新的解决方案，为大语言模型的发展奠定了基础。
探秘Deepseek MLA：解锁大模型高效推理的密码
远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享
02-08 1213
Deepseek 多头潜在注意力（MLA）技术作为大模型领域的重要创新，在技术原理上展现出独特的设计。通过低秩联合压缩、多头并行与结果融合以及潜在空间建模等核心技术，有效解决了传统多头注意力机制在计算成本和存储成本方面的难题，为大模型的发展提供了新的思路和方法。在 Deepseek 模型的实际应用中，MLA 技术发挥了关键作用，显著提升了模型的性能和效率。
【DeepSeek系列】逐行讲解MLA朴素+吸收矩阵代码全新实现
芒果不茫的博客
05-03 725
这篇文章带你了解大模型注意力机制是如何一步步优化的。从MHA、MQA和GQA的演变出发，到如今deepseek最喜欢的MLA技术。不只是理论讲解，我用图解和代码示例，一步步拆解那些复杂的矩阵计算，让你真正弄懂MLA的工作原理和优化思路。
【完整版】DeepSeek-R1大模型学习笔记（架构、训练、Infra、复现代码）
我的技术栈碎碎念空间
02-04 8008
MoE在每次推理时选择性地激活部分模型参数，在不成比例增加计算成本的情况下，可以扩展模型参数。在DeepSeek-V2中就提出了用于FFN层的DeepSeekMoE，DeepSeek-R1在DeepSeek-V2基础上进一步优化。
Deepseek大模型推理算法其实很简单
你不是叶秋的博客
05-08 752
人们听说大模型已经有两年多了，不少人自己测试了对话。但舆论对于大模型还是有很多误解，应用时摸不清特性，一不小心就上当，更不知道大模型是怎么开发出来的。首先要知道，大模型开发有两种场景，难度高的是训练，难度低的是推理（inference），人们熟悉的也是推理。训练的成果就是“权重”，能生成性能从高到低的几个版本，权重文件从大到小。有了权重文件，大模型的推理其实很简单！即使对机器学习不太熟悉的人，只要稍有点知识，看了本文，完全可以理解，大模型的推理是怎么做的，真的不难。
开源项目实战学习之YOLO11：12.1 ultralytics-models-sam-blocks.py源码
kngines
05-17 139
开源项目实战学习之YOLO11：12.1 ultralytics-models-sam-blocks.py源码
【沉浸式求职学习day39】【双指针算法题】
贺函不是涵的博客
05-14 788
双指针算法题
【datawhale组队学习】coze-ai-assistant TASK01
m0_52024881的博客
05-13 1022
通过扣子开发的 AI 应用有明确的输入和输出，可以根据既定的业务逻辑和流程完成一系列简单或复杂的任务，例如 AI 搜索、翻译工具、饮食记录等。工作流具备了： 大量的重复性任务 （如内容创作、编辑、发布）和 固定的业务流程 （如策划、创作、审核、发布）。的 AI 项目，它通过对话方式接收用户的输入，由大模型自动调用插件或工作流等方式执行用户指定的业务流程，并生成最终的回复。教程：Coze / 扣子（飞书文档）10. 教程：Coze / 扣子。4万字教程-COZE/扣子与智能体入门（飞书文档）
Adobe Illustrator学习备忘
sdaujz的博客
05-17 136
1.移动对象：需按住空格键加鼠标一块才能拖动。
学习笔记（C++篇）—— Day 6
最新发布
2406_83392683的博客
05-17 689
int main()//申请空间//申请空间+构造函数//只释放空间free(p1);//析构函数 + 释放空间delete p2;delete p3;return 0;注意：在申请自定义类型的空间时，new会调用构造函数，delete会调用析构函数，而malloc与free不会。由于C++的这些用法，用C++写链表会使得过程更加简便。
数据库MySQL学习——day11(高级连接与数据库规范化)
blackA_的博客
05-15 953
消除数据冗余（重复）避免插入、删除、更新异常提高数据一致性和存储效率连接类型说明SELF JOIN表自己连接自己CROSS JOIN两表所有组合（笛卡尔积）范式原则1NF每列值必须是原子值（不能有逗号分隔）2NF消除部分依赖（非主属性依赖主键全部）3NF消除传递依赖（非主属性不依赖其他非主属性）
deepseek mla
02-21
MLA（Multi-Layer Aggregation）架构通过引入创新性的设计来显著减少KV缓存的需求，从而提高模型的推理效率[^1]。具体来说，在传统的Transformer模型中，每个Token都需要存储完整的键值对用于自注意力机制计算；而在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值