DeepSeekV2改进详解

已于 2025-10-15 21:16:04 修改
阅读量107 收藏
点赞数 1
CC 4.0 BY-SA版权
文章标签： python
于 2025-10-15 18:34:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Drunk_awm/article/details/153331591

先上图
面完就补 狠狠学！！！

1.MLA

MLA多头潜在注意力机制
减少kv cache
为了保留旋转位置编码 进行拆分

MHA->GQA->MQA->MLA

2.MOE

deepseekMoE架构
共享专家和路由专家
负载均衡损失

DeepSeek-V2 论文解读：混合专家架构的新突破
进一步有进一步的欢喜~
02-08 1683
在大语言模型（LLMs）蓬勃发展的浪潮中，DeepSeek-V2 脱颖而出，成为一款兼具强大性能、高效训练与推理能力的混合专家（MoE）语言模型。它拥有 236B 总参数，在处理每个令牌时仅激活 21B 参数，且支持长达 128K 令牌的上下文长度，为自然语言处理领域带来了新的突破。本文将深入探讨 DeepSeek-V2 的技术细节，包括其创新架构、预训练过程、对齐方法以及性能评估，旨在为技术人员提供全面且深入的技术解读。
DeepSeek-V2
百态老人的博客
12-25 1419
DeepSeek-V2通过创新的MoE架构和高效的MLA机制，实现了在大规模语言模型中的重要技术突破。
MLA——一文通透DeepSeek V2中的多头潜在注意力MLA：改进MHA，从而压缩KV缓存，提高推理速度(含让任何LLM都能用上MLA的方法)
热门推荐
结构之法 算法之道
08-26 4万+
成就本文有以下三个因素校长最近开始搞deepseek了吗？刚看了论文，没搞懂MLA那块的cache是怎么算的，我总觉得他的效果应该类似MQA才对，但是反馈是挺好的目前团队项目上的事情太多，然后近期在写那个KAN确实还没来得及看这个deepseek，我近期看下而搞之前——近几天，会先写一下它的论文解读，故本文就来了且一如既往做到，对于几乎每一个主题，都做到本博客万千读者或七月学员所说的：“还是看校长的文章好理解”，如有任何问题或任何不懂的地方，可以随时留言/评论，我会找时间尽快回复。
DeepSeek v2/v3技术解读
hang on it more longer
02-09 1964
v2论文：[2405.04434] DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Modelv3论文：[2412.19437] DeepSeek-V3 Technical Reportv3源码：https://github.com/deepseek-ai/DeepSeek-V3我们提出了 DeepSeek-V2，一个强大的混合专家 (MoE) 语言模型，其特点是经济的训练和高效的推理。它包含 2360
DeepSeek：核心技术详解（深度好文）
Peter_Changyb的博客
02-22 2754
DeepSeek，是通用大模型企业，V3是通用模型，R1是推理模型，RAG是联网搜索； 如何实现了技术创新和科技变革？
DeepSeek-VL2
晓的博客
01-02 1455
在语言处理过程中，它能够帮助模型更好地聚焦于文本中的关键部分，例如在回答问题时，能够快速定位到与答案相关的文本段落或句子，同时也能够更好地结合视觉信息来生成准确的回答。这说明模型在光学字符识别方面表现出色，能够准确地识别图像中的文字内容，无论是手写文字还是印刷文字，并且能够很好地结合文字的视觉位置和语义信息，为后续的文字相关任务（如文档理解、问答等）提供了有力的支持。例如，在回答与图像细节相关的问题时，模型能够自然地利用视觉编码器提取的细节特征和语言模型中的语义知识，生成准确、连贯的回答。
一文通透DeepSeek V2——通俗理解多头潜在注意力MLA：改进MHA，从而压缩KV缓存，提高推理速度
kaka0722ww的博客
02-28 1136
最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。其把FFN的结构改成DeepseekMoE——是对传统MoE结构的改进(下图各种结构、表示很多，初看难以一看就懂，没事，下文会逐一详解，任何一个符号都不会放过——最后，反复琢磨之后，你也可以和我一样：脱离本文，手绘下图、手推下图背后的公式)作为一名从业五年的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？
DeepSeek V3.1 深度技术解读：从架构到应用的核心突破与系统评估对比
OneThingAI的博客
08-20 1256
摘要：DeepSeek团队低调发布V3.1大模型，延续其一贯"夜间突袭"风格。该版本主要升级包括：上下文窗口从128K扩展至100万token、增强复杂推理与多语言处理能力、优化工具调用格式（更简洁的函数参数传递方式），并引入可切换的思维模式。技术架构保持671B总参数规模，采用稀疏MoE与MLA注意力机制。测试显示其物理理解和代码能力有所提升，通过"思考-搜索-工具"三模块设计，向更自主的智能体方向演进。目前模型细节仍在完善中，开发者需自行探索具体特性。（150字）
MLA实现及其推理上的十倍提速——逐行解读DeepSeek V2中多头潜在注意力MLA的源码(图、公式、代码逐一对应)
结构之法 算法之道
02-10 1万+
想来也是巧，最近deepseek实在是太火了，就连BAT这类大厂全部宣布接入deepseek，更不用说一系列国企、车企等各行各业的传统行业、企业都纷纷接入deepseek与此同时，也有很多公司、开发者对本地部署deepseek的诉求居高不下，我们也服务了一些B端客户，本文也提供了一些本地部署的方法结果，在网上看KTransformers资料的时候，无意中看到一篇帖子《DeepSeek-V2 高性能推理 (1)：通过矩阵吸收十倍提速 MLA 算子》，让我关注到了DeepSeek-V2对MLA的实现。
国产开源大模型DeepSeekV3详解
01-22
该模型基于Transformer架构进行了优化改进，在多个自然语言处理任务上展现了卓越性能[^1]。 #### 主要特点 - **大规模参数量**：拥有数十亿级别的可训练参数； - **多领域适应性强**：经过广泛的数据集预训练，能够...
VBA接入DeepSeekV
06-18
#### 实现步骤详解 以下是实现的具体代码示例和说明： ```vba Sub CallDeepSeekAPI() Dim http As Object Dim url As String Dim apiKey As String Dim payload As String Dim response As String ' 设置 ...
Deepseekv3架构
03-14
### DeepSeek V3 架构详解 DeepSeek V3 是一种基于 Transformer 的大型语言模型，其架构设计融合了当前最先进的技术和优化方法。以下是关于该模型架构的一些重要细节： #### 1. 模型规模与参数量 DeepSeek V3 展现...
python基本数据类型、字典、 集合、条件与循环控制、函数（3）
岁岁岁平安的博客
10-16 714
本文系统介绍了Python核心知识点，包括基本数据类型、字典、集合、控制语句和函数。重点讲解了Number、bytes等数据类型的特点与使用；详细说明字典的增删改查操作和内置方法；分析集合的去重特性和集合运算；涵盖条件控制、循环语句及循环控制关键字；深入讲解函数参数传递机制，包括位置参数、关键字参数、可变参数(*args/**kwargs)及其解包操作。通过代码示例演示了各知识点的实际应用，为Python编程提供了全面的基础参考。
《天机学堂》day09.优惠券管理相关接口_完整代码【简单易懂注释版】
2402_84971234的博客
10-16 1981
本文介绍了优惠券管理系统的设计与实现，包括优惠券的增删改查、发放、兑换等功能模块。系统采用分层架构，包含Controller、Service、Mapper层，实现优惠券的新增、分页查询、编辑、删除等基础操作。在发放功能中，通过异步生成兑换码提高性能，并设计兑换码加密算法确保安全性。针对并发问题，采用乐观锁解决超卖、悲观锁防止重复领取、AOP代理处理事务失效。系统还实现了定时任务自动开始/结束发放，支持分片处理提升效率。兑换功能结合Redis位图校验兑换状态，MySQL存储兑换记录，确保数据一致性。
基于 PyQt5 的多算法视频关键帧提取工具
陈增林
10-16 1557
本文介绍了一个基于PyQt5的多算法视频关键帧提取工具，该工具支持三种主流算法并通过图形界面提供便捷操作。关键帧提取技术能有效代表视频内容变化，适用于预览、分析和剪辑等场景。工具内置局部最大值算法（检测亮度差异）、帧差统计算法（自适应阈值）和直方图聚类算法（内容相似性分析），各有特点以适应不同需求。GUI设计支持多任务并行处理、算法灵活切换和友好交互体验，输出结果包含关键帧图片和元数据文件。该工具既可作为实用程序，也是理解计算机视觉中变化检测和内容表征原理的实验平台。
十个Pandas高效数据处理与分析应用实例
最新发布
qq_38190562的博客
10-18 464
【代码】十个Pandas高效数据处理与分析应用实例。
AR模型（自回归模型）
金石软件
10-15 793
AR模型（自回归模型）摘要 AR模型通过历史数据的线性组合预测未来值，适用于时间序列分析（如气温、股价）。其公式为$X_t = c + \sum_{i=1}^p \phi_i X_{t-i} + \epsilon_t$，其中$p$为阶数，$\phi$为自回归系数，$\epsilon_t$为随机误差。关键假设包括时间序列平稳性和白噪声误差。通过ACF/PACF图确定阶数$p$，常用最小二乘法估计参数。案例演示了AR(1)预测温度（手工计算与Python实现）和AR(2)预测股价，展示从数据整理、参数计算到预测
python基于web的汽车班车车票管理系统/火车票预订系统/高铁预定系统 可在线选座
Q_Q511008285的博客
10-17 953
随着网络不断的普及发展， 订票管理系统依靠网络技术的支持得到了快速的发展，首先要从用户的实际需求出发，通过了解用户的需求开发出具有针对性的首页、个人中心、用户管理、车型信息管理、票务信息管理、购票订单管理、选座管理、系统管理等功能，利用目前网络给用户带来的方便快捷这一特点对系统进行调整，设计的系统让用户的使用起来更加方便，本系统的主要目的就是给用户带来快捷与高效、安全，用户只要在家中就可以进行操作。
CrewAI 全面详解：多智能体协作框架从入门到实战
2301_78209919的博客
10-15 1054
CrewAI是一款基于LangChain构建的开源多智能体编排框架，旨在通过模拟现实团队协作模式，协调多个AI智能体分工合作，高效完成内容创作、市场分析等复杂任务。其兼容主流大语言模型（如OpenAI、Google Gemini等）及各类工具（如网络搜索、PDF解析），可让开发者快速搭建多智能体系统。 核心优势体现在角色驱动设计（智能体有明确角色定位）、智能协作机制（自主委派任务与共享信息）、灵活工具集成、生产级特性（含内存管理、可观测性等）、多样化流程编排（支持顺序、并行等模式）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值