【Deepseek】激活参数的一些研究和理解

已于 2025-01-04 21:14:11 修改
阅读量4.5k 收藏 12
点赞数 12
分类专栏： AI 文章标签： 人工智能 自然语言处理 语言模型 AI编程 ai
于 2025-01-04 20:45:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_57125804/article/details/144934701
版权

在这里插入图片描述

DeepSeek-V3重磅发布：性能暴增3倍，价格却只有其他大模型的1/5！深度解析与实测

激活参数（Activated Parameters）

激活参数是指在模型训练或推理过程中实际参与计算的参数数量。它是衡量模型实际计算资源需求的重要指标。

激活参数与总参数

以 DeepSeek-V3 为例：

  • 激活参数：37B（370亿参数）
  • 总参数：671B（6710亿参数）

DeepSeek-V3 采用 MoE（Mixture of Experts）架构，这使得它能够：

  • 在每次推理时只激活部分专家网络
  • 拥有庞大的总参数量，但保持较低的计
最低0.47元/天 解锁文章
【多模态处理篇二】【深度揭秘：DeepSeek视频理解之时空注意力机制解析】
02-22 398
打个比方，在一个足球比赛的视频里，时空注意力机制能让模型既关注到球场上球员们的位置（空间信息），又能关注到比赛的关键时间点，比如进球的那一刻（时间信息）。比如说，在一个篮球比赛视频里，空间注意力机制先关注到球场上球员们的位置和动作，然后时间注意力机制会根据这些信息，找出比赛的关键时间点，比如投篮、传球的瞬间。未来，随着技术的不断发展，时空注意力机制肯定会在更多的视频应用领域发挥更大的作用，让我们的生活变得更加智能和便捷。比如说，把视频裁剪成固定的长度和分辨率，对视频帧进行归一化处理，让数据的分布更均匀。
大模型系列：DeepSeek大模型与应用场景介绍
最新发布
IT技术分享社区
03-10 1209
在训练方法上，它结合了预训练和监督微调（SFT），并采用了混合精度 FP8 训练，这不仅降低了算力需求，还在保证模型计算精度的前提下，大幅度减少了内存使用和计算成本。让我们共同期待 DeepSeek 在未来能够创造更多的奇迹，为我们带来更多的惊喜和便利，也希望更多的人能够关注和了解 DeepSeek，一起探索人工智能的无限可能。在创意写作领域，它同样表现出色。比如，在学习物理时，对于 “量子纠缠” 这样抽象的概念，DeepSeek Chat 可以通过生动的比喻和详细的解释，让学生轻松理解其中的奥秘。
Total Params 是模型的“理论参数量”，反映整体复杂度； Activated Params 是“实际使用的参数量”，反映运行时效率。
扶着老奶奶闯红灯
02-05 1400
Total Params 是模型的“理论参数量”，反映整体复杂度； Activated Params 是“实际使用的参数量”，反映运行时效率。 在动态网络和稀疏计算场景中，二者差异显著，优化目标是最小化激活参数量，同时保持模型性能。
Caffe学习系列(4)：激活层（Activiation Layers)及参数
weixin_34364071的博客
12-24 689
在激活层中，对输入数据进行激活操作（实际上就是一种函数变换），是逐元素进行运算的。从bottom得到一个blob数据输入，运算后，从top输入一个blob数据。在运算过程中，没有改变数据的大小，即输入和输出的数据大小是相等的。 输入：n*c*h*w 输出：n*c*h*w 常用的激活函数有sigmoid, tanh,relu等，下面分别介绍。 1、Sigmoid 对每个输入数据，利用sig...
5分钟看看DeepSeek-R1做过的那些基准测试题（上）
a1966565的博客
02-16 2123
MMLU（Massive Multitask Language Understanding）覆盖57个学科（如科学、人文、社科等）的英文选择题，要求模型具备广泛的跨领域知识。IFEval通过聚焦可验证指令（如字数限制、JSON格式等），实现自动化、客观的评估，帮助研究者明确模型在哪些类型指令上表现不足，并支持不同模型的对比分析。增加大学级别难题的比例：MMLU-Pro 增加了更多挑战性的大学水平考试题目，这些问题要求大语言模型在不同领域进行深思熟虑的推理，才能得出正确答案。
DeepSeek 模型参数深度解析与性能优化指南
m0_66899623的博客
02-15 3762
DeepSeek 模型的参数设置对模型性能有着重要影响。通过合理设置n_layersn_headsdropoutv_head_dimrope_thetaworld_sizerankdtype和gemm_impl等参数，可以优化模型的性能，使其在不同的应用场景中发挥最佳效果。希望本文能够帮助入门者更好地理解和优化 DeepSeek 模型的性能。
DeepSeek火爆，参数量、激活参数 和 预训练 token 量 是什么？
思索的涟漪，突破自我
01-25 7254
最近DeepSeek火爆，爆出了几个关键参数，分别是和这里用通俗的语言给大家解释一下~首先要知道1B 是 Billion（十亿）的缩写更大的参数量通常意味着模型的表现更强大，它可以理解更复杂的语句和概念，推理能力更强，生成的文本也更自然、精确。
通俗诠释 DeepSeek-V3 模型的 “671B” ，“37B”与 “128K”，用生活比喻帮你理解模型的秘密！
涛涛讲AI
02-16 5037
在DeepSeek-V3模型的参数描述中，你可能会看到类似“671B 37B 128K”这样的标记。这些字母和数字的组合看起来像密码，但其实它们揭示了模型的“大脑容量”和“工作方式”。下次看到模型参数时，记住这不是性能竞赛的分数，而是匹配需求的工具说明书。就像不会用挖掘机削苹果，合理配置才能发挥AI的真正价值。显然，通讯录人数多不代表聚会能办好，关键看联系谁（激活参数）以及记住多少细节（上下文）。这就是参数配置的实际意义。论文撰写、代码调试、长文档总结。移动端使用建议调低激活参数。优先选择总参数大的模型。
DeepSeek-R1模型不同参数规模（1.5B、7B、8B、14B、32B、70B、671B）之间的区别
有天你会让我妒忌的
02-10 8391
DeepSeek-R1 系列模型的不同参数规模（如1.5B、7B、14B、70B等）代表了模型的参数量级，直接影响模型的。例如，用7B模型验证业务流程，再迁移到14B提升效果。建议先从小规模模型实验，再根据实际需求逐步升级。
deepseek-v2-tech-report.pdf
02-01
在训练成本方面，DeepSeek-V2实现了较DeepSeek 67B更大幅度的成本节约，在激活参数数量方面，DeepSeek-V2使用了较同等性能模型更少的参数，进而降低了训练和部署的计算资源需求。在生成速度方面，相比于其他一些主要...
深入理解DeepSeek-R1：模型架构.pdf
02-17
在模型参数方面，DeepSeek-R1总共包含671B个参数，其中每个标记激活37B个参数，这展现了DeepSeek-R1模型巨大的规模和处理能力。 DeepSeek-R1模型架构在输入上下文长度、模型层数、使用MLA层和MoE层、以及减少KV缓存...
看懂 DeepSeek 模型参数与运行需求
2502_90485365的博客
02-10 1312
从图表中可以清晰地看到，随着模型参数数量的增加，模型的各项指标也发生了显著变化。以 DeepSeek-7B 模型为例，其参数数量为 70 亿，模型大小相对较小，仅需 13GB，这使得它在运行时对硬件的要求也较为亲民。在运行配置方面，最低只需 4GB 显存的 GPU、4 核 CPU 以及 8GB 内存，普通的个人电脑便能轻松驾驭。
DeepSeek-V2-Chat模型参数设置详解
gitblog_02342的博客
12-31 1015
DeepSeek-V2-Chat模型参数设置详解 DeepSeek-V2-Chat 项目地址: https://gitcode.com/mirrors/deepseek-ai/DeepSeek-V2-Chat ...
DeepSeek-V2模型参数设置详解：解锁最优性能的关键
gitblog_02048的博客
12-31 1225
DeepSeek-V2模型参数设置详解：解锁最优性能的关键 DeepSeek-V2 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/DeepSeek-V2 ...
Deepseek本地部署：1.5B到671B，参数规模的秘密与设计逻辑
双非二本自学到互联网公司的成长经历，有故事，有干货。
02-11 3760
我是AI爱好者，第一批AI玩家，专注于用通俗易懂的语言讲解复杂的技术概念。如果你对AI感兴趣，欢迎关注我的博客，我们一起探索AI的奇妙世界！
DeepSeek 系列模型的详细运行配置信息
最爱で毛毛熊的博客
02-16 1026
DeepSeek系列模型的详细运行配置信息，包括硬件配置、搭建成本和运行费用，从低到高分类说明及个人搭建的费用说明：
【架构解析】深入浅析DeepSeek-V3的技术架构
热门推荐
2401_85390073的博客
12-30 2万+
模型层数：61 层隐藏层维度：7168前馈网络维度：18432注意力头数：128词汇表大小：129280最大位置嵌入：163840该模型通过精细的架构设计，实现了在计算效率和性能上的平衡。高性能表现：在编程、数学等任务上取得领先成绩，展现出卓越的智商水平。低成本高效能：以较低的训练成本，实现了与大型闭源模型相当的性能。技术创新：在 FP8 混合精度训练、MLA、无辅助损失负载均衡等方面取得突破。支持超长上下文：通过 YaRN 方法，模型能够处理超长文本，拓展了应用场景。开源共享。
深度解析DeepSeek模型系列：从轻量级到超大规模（附DeepSeek硬件配置清单）
m0_52276169的博客
02-08 8366
在人工智能领域，深度学习模型的选择对于任务的执行效率和精度至关重要。DeepSeek模型系列提供了多种不同参数量的版本，以满足不同场景下的需求。本文将详细解析DeepSeek模型系列的特点、适用场景以及硬件需求。
deepseek技术解读(1)-彻底理解MLA（Multi-Head Latent Attention）
zenRRan的博客
01-15 1万+
知乎：姜富春（已授权）链接：https://zhuanlan.zhihu.com/p/16730036197编辑：「深度学习自然语言处理」公众号引言deepseek最近比较出圈，本人也一直关注deepseek发布的一些技术报告。在模型训练、推理性能和计算成本上一直能给大家惊喜。读了deepseek的技术报告，我个人有两个比较强的感受。第一：deepseek在模型细节上扣的比较极致，魔改了一些模型框...
deepseek参数量
02-09
### DeepSeek 模型参数数量与规模 DeepSeek V3 是一款大规模的语言模型，具备显著的参数量特征。该模型总共拥有 6,710 亿个参数[^1]。值得注意的是，这是一个 MoE（混合专家）架构下的模型，在这种架构下，并不是所有的参数都会参与到每一次计算当中；具体来说，每次处理一个 token 时大约有 370 亿个参数会被激活参与运算。 为了更直观地展示这些数据： - **总参数量**：6,710 亿 (671B) - **每 Token 激活参数数**：370 亿 (37B) 这样的设计使得 DeepSeek V3 能够在保持高效的同时实现强大的表达能力和泛化性能。相较于其他同类型的大型语言模型如 Qwen2.5 和 LLaMA-3.1，DeepSeek-V3 展现出了一定的优势特别是在英语、多种语言支持以及编程代码理解和生成方面的能力更为突出[^3]。 ```python total_parameters = "6,710 亿" activated_per_token = "370 亿" print(f"DeepSeek V3 总参数量为 {total_parameters} 参数.") print(f"每个输入单位(token)会激活约 {activated_per_token} 参数用于计算.") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI新纪元

您的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值