宝码香车的博客

在旧版DeepSeek -R1基础上，更新后的R1模型针对议论文、小说、散文等文体做了进一步优化。优化后的模型不仅能生成篇幅更长、结构内容更完整的长篇作品，还能呈现出更贴近人类偏好的写作风格，大幅提升了文本创作的质量与适配性。

新版DeepSeek R1重点优化了“幻觉”问题。相较于旧版，更新后的模型在改写润色、总结摘要、阅读理解等场景中，幻觉率降低了45%～50%，能够为用户提供更准确、更可靠的结果。

DeepSeek-R1-0528以Qwen3-8B Base为基础进行思维链后训练，进而得到了DeepSeek-R1-0528-Qwen3-8B。这款8B模型在AIME 2024数学测试中，成绩仅次于DeepSeek-R1-0528，相比Qwen3-8B提升了10.0%，性能与Qwen3-235B不相上下。我们认为，DeepSeek-R1-0528的思维链对学术界开展推理模型研究以及工业界进行小模型开发而言，都有着重要的参考价值。

DeepSeek-R1-0528相较旧版R1，在复杂推理任务中的性能实现显著跃升。以AIME 2025测试为例，新版模型准确率从旧版的70%提升至87.5%。这一进步源于模型推理思维深度的强化：在AIME 2025测试集上，旧版模型平均每题消耗12K tokens，而新版模型达到23K tokens，充分体现其在解题过程中进行了更详实、更深入的逻辑推导。

DeepSeek-R1-0528 与旧版 DeepSeek-R1 保持开源策略一致性，此次开源仓库（含模型权重）继续采用 MIT License 授权。该授权允许用户自由使用模型输出内容，并支持通过模型蒸馏等技术路径训练衍生模型。

DeepSeek-R1-0528与旧版DeepSeek-R1采用相同基础模型架构，仅对后训练方法进行优化升级。在私有化部署场景下，用户只需更新checkpoint文件及涉及tool calls功能调整的tokenizer_config.json配置文件即可完成部署。该模型参数总量为685B（其中MTP层占14B），开源版本支持128K长上下文处理能力，而网页端、App及API接口则统一提供64K上下文长度的服务支持。

DeepSeek-R1-0528更新后，官方网站、小程序、App端及API所提供的模型上下文长度仍保持64K不变。若用户有更长上下文长度的使用需求，可通过第三方平台调用上下文长度达128K的开源版本R1-0528模型。

DeepSeek-R1-0528 API对max_tokens参数的定义进行了调整：当前该参数用于限定模型单次输出的总长度（含思考过程），默认值为32K，最大值可达64K。请API使用者及时调整参数设置，避免出现输出内容被提前截断的情况。

DeepSeek-R1-0528 的 API 已完成更新，接口设计与调用方式维持不变。新版 R1 API 在保留模型思考过程查看功能的基础上，新增了对 Function Calling 和 JsonOutput 的支持。

DeepSeek-R1-0528在前端代码生成与角色扮演等应用领域的能力均实现了迭代升级。

DeepSeek-R1-0528 具备工具调用能力（需注意thinking环节不支持工具调用）。从当前Tau-Bench测评数据来看，该模型在airline任务中取得53.5%的成绩，retail任务中达到63.9%，整体表现与OpenAI o1-high水平相当。不过，与o3-High和Claude 4 Sonnet相比，仍存在一定差距。

新版DeepSeek R1着重针对"幻觉"问题实施了优化改进。和旧版模型相比，更新后的模型在改写润色、总结摘要、阅读理解等应用场景中，幻觉发生率降低了45%至50%，能够切实为用户提供更加准确且可靠的结果。

DeepSeek-R1-0528 基于Qwen3-8B Base开展思维链后训练，由此衍生出DeepSeek-R1-0528-Qwen3-8B。这款8B模型在AIME 2024数学测试中表现亮眼，成绩仅次于DeepSeek-R1-0528，较Qwen3-8B提升10.0%，性能与Qwen3-235B持平。我们认为，DeepSeek-R1-0528的思维链训练方法，对学术界推理模型研究及工业界小模型开发均具有重要参考价值。

DeepSeek-R1-0528 延续了2024年12月发布的DeepSeek V3 Base模型作为基础架构，不过在后续训练阶段加大了算力投入，这一举措让模型的思维深度和推理能力得到了显著增强。

DeepSeek-V3-0324 与旧版 DeepSeek-V3 共享同一基础模型架构，仅对后训练方法进行了优化升级。在私有化部署场景下，用户只需更新 checkpoint 文件及涉及 tool calls 功能调整的 tokenizer_config.json 配置文件即可完成部署。该模型参数规模约 660B，开源版本支持 128K 长上下文处理能力，而网页端、App 及 API 接口则统一提供 64K 上下文长度的服务支持。

在推出DeepSeek-R1-Zero与DeepSeek-R1两款660B大模型的同时，团队基于DeepSeek-R1的输出结果进行模型蒸馏，向社区开源了6个轻量化模型。其中32B和70B规模的模型表现亮眼，在多项核心能力上达到了与OpenAI o1-mini相当的水平。

在联网搜索场景中，DeepSeek新版V3模型针对报告生成类指令，能够输出内容更详实精准、排版更清晰美观的结果，显著提升了报告生成的质量与规范性。

DeepSeek-R1 突破性地在后训练环节大规模应用强化学习技术，即便在标注数据极为匮乏的条件下，依然实现了模型推理能力的显著跃升。经大量实验验证，在数学运算、代码编写、自然语言逻辑推导等关键任务中，DeepSeek-R1 的表现已达到与 OpenAI o1 正式版相当的水平，展现出强大的技术实力与应用潜力。

DeepSeek-V3-0324 与旧版 DeepSeek-V3 采用相同的基础模型架构，其升级主要体现在后训练策略的优化。在进行私有化部署过程中，用户仅需更新 checkpoint 文件，以及包含 tool calls 功能调整的 tokenizer_config.json 配置文件即可完成部署操作。该模型参数总量约 660B，开源版本支持高达 128K 的长文本上下文处理；而网页端、移动应用及 API 服务则统一提供 64K 上下文长度的稳定支持，确保多端使用场景的流畅体验。

在发布DeepSeek-R1-Zero与DeepSeek-R1两款参数规模达660B的重磅模型之时，研发团队进一步基于DeepSeek-R1的输出成果，通过模型蒸馏技术精心打造了6个轻量化模型，并将其开源回馈社区。其中，32B和70B规模的模型表现尤为突出，在多个核心能力维度上，成功实现了与OpenAI o1-mini相媲美的性能表现，为开源生态注入强劲动力。

当处于联网搜索环境时，DeepSeek新版V3模型展现出卓越的指令响应能力。面对报告生成类需求，它不仅能输出内容详实、数据精准的文本，还能以清晰美观的排版形式呈现结果，极大提升了报告的专业性与可读性。

DeepSeek-R1 在其关键的后训练环节深度融入强化学习技术，即便面对标注数据严重稀缺的挑战，仍实现了模型推理性能的跨越式提升。经多维度测评验证，在数学问题求解、代码编写与优化、自然语言逻辑推理等复杂任务场景中，DeepSeek-R1 的综合表现已达到与 OpenAI o1 正式版相抗衡的水准，展现出强大的技术实力与应用潜力。

DeepSeek-V3-0324与早期版本DeepSeek-V3共享同一基础模型架构，其迭代优化聚焦于后训练技术层面。对于私有化部署需求，用户仅需更新checkpoint文件，以及涉及tool calls功能调整的tokenizer_config.json配置文件即可完成部署。该模型参数总量约660B，开源版本支持高达128K的长上下文处理能力，而网页端、App及API接口则统一提供64K上下文长度的服务 。

在推出DeepSeek-R1-Zero与DeepSeek-R1这两款参数规模达660B的模型之际，团队借助DeepSeek-R1的输出成果，精心提炼出6个小模型，并慷慨地向社区开源共享。在这6个小模型里，32B和70B规模的模型表现出众，在众多能力维度上，能够与OpenAI o1-mini模型的性能相媲美 。

在联网搜索的情境中，DeepSeek新版V3模型针对报告生成类指令，能够给出内容详实精确、排版清晰美观的输出结果，显著提升了报告生成的质量与呈现效果 。

DeepSeek-R1于后训练环节大规模运用强化学习技术，即便标注数据极为有限，仍成功实现模型推理能力的大幅提升。在数学运算、代码处理、自然语言推理等任务方面，DeepSeek-R1性能卓越，与OpenAI o1正式版不相上下。

DeepSeek-V3-0324与此前的DeepSeek-V3基于同一base模型构建，其优化之处仅体现在后训练方法层面。若进行私有化部署，用户仅需更新checkpoint以及tokenizer_config.json（涉及tool calls的相关变动部分）即可完成操作。该模型的参数规模约为660B ，开源版本所支持的上下文长度达128K，而在网页端、App以及API等应用场景中，所提供的上下文长度则为64K 。

在推出DeepSeek-R1-Zero和DeepSeek-R1这两款660B模型的同时，研发团队以DeepSeek-R1的输出作为基础，进行模型蒸馏操作，进而为社区开源了6个小模型。在这些小模型中，32B和70B模型表现亮眼，在诸多能力维度上，成功实现了与OpenAI o1-mini相当的效果 。

在联网搜索场景中，DeepSeek的新版V3模型表现卓越。面对报告生成类指令，它能够输出内容详实准确、排版清晰美观的结果，显著提升了报告生成的质量与效率 。

DeepSeek-R1 创新性地在其关键的后训练环节中大规模应用强化学习技术。凭借这一先进策略，即使在标注数据极为稀缺的艰难条件下，依然成功实现了模型推理能力的飞跃式提升。经多方面测试验证，在数学运算、代码处理以及自然语言推理等复杂任务场景中，DeepSeek-R1 的卓越性能可与 OpenAI o1 正式版相媲美，展现出强大的竞争力。

DeepSeek - V3 - 0324是一款性能全面、特色鲜明的国产开源大模型，在逻辑推理、代码生成和中文创意内容方面表现出色，为各类用户提供了实用的AI助手

高效的训练算法是 DeepSeek 模型能够快速收敛并达到优异性能的关键因素之一。在模型训练过程中，DeepSeek 运用了一系列先进的训练算法，以加速模型的收敛速度，增强训练的稳定性，并提高模型的泛化能力。

DeepSeek 还创新性地引入了自适应层融合（Adaptive Layer Fusion）技术。在传统 Transformer 架构中，每一层输出对最终结果的贡献相对固定，缺乏灵活性。

DeepSeek 在 Transformer 架构的基础上进行了多项创新改进。在注意力计算方面，面对大规模数据处理时传统注意力计算方式计算量剧增和内存消耗过大的瓶颈，DeepSeek 引入了稀疏注意力（Sparse Attention）或基于位置的注意力（Position - based Attention）等新型算法。

DeepSeek 沿用了 Transformer 架构中的多头注意力机制。多头注意力机制允许模型在多个不同的表示子空间中同时并行计算注意力，使得模型能够更加全面、深入地捕捉输入序列中不同位置元素之间的复杂关系

DeepSeek 同样采用了多层 Transformer 块层层堆叠的方式搭建模型架构。每一层 Transformer 块都集成了多头注意力子层和前馈神经网络子层，这种层次化、模块化的设计，使得模型能够像剥洋葱一样，由浅入深地逐步提取输入文本的高级语义特征

DeepSeek 也深深扎根于 Transformer 架构，并在其基础上进行了大胆创新和优化，形成了独具特色的模型架构。

DeepSeek 能够在人工智能领域取得如此显著的成就，离不开其背后强大的核心技术。这些技术相互融合、协同创新，为 DeepSeek 的卓越性能和广泛应用奠定了坚实的基础。下面，我们将深入剖析 DeepSeek 基于 Transformer 架构的创新点，包括模型架构、训练算法、数据处理技术，让大家领略其技术优势的奥秘。

DeepSeek 将成为人工智能领域的领军企业，引领行业的发展潮流，为推动全球人工智能技术的进步做出更大的贡献。

DeepSeek 的成功，离不开其强大的团队和创新的技术。团队成员来自中国顶尖学校，如北大、清华和北航的博士，他们在人工智能领域拥有深厚的学术背景和丰富的实践经验。团队注重技术创新和研发投入，不断探索新的算法和技术，致力于提升模型的性能和效率。同时，DeepSeek 还积极与学术界和产业界合作，开展产学研合作项目，推动人工智能技术的发展和应用。