一文搞懂DeepSeek - DeepSeek“知识蒸馏”OpenAI？

最新推荐文章于 2025-03-10 12:22:57 发布

大靠山

最新推荐文章于 2025-03-10 12:22:57 发布

阅读量708

点赞数 10

文章标签：人工智能深度学习机器学习 word pdf

本文链接：https://blog.csdn.net/m0_59235245/article/details/145557852

版权

DeepSeek，作为新兴的AI模型开发者，国人的骄傲。近期遭遇了来自OpenAI（GPT的母公司）和Anthropic（Claude的母公司）的质疑和围剿。

据《金融时报》报道，OpenAI声称发现了DeepSeek利用他们的模型进行训练的迹象，这涉嫌侵犯知识产权。从技术角度来解释，OpenAI指控DeepSeek进行了模型蒸馏，即使用大型模型的输出来提高小型模型的性能，从而以较低的成本在特定任务上取得类似的结果。

在硅谷，这一事件引发了广泛的关注和讨论，许多网友对OpenAI和Anthropic的联手围剿表示不满，并讽刺OpenAI在数据使用和知识产权方面的双重标准。

一、知识蒸馏

知识蒸馏（Knowledge Distillation）是什么？知识蒸馏是一种模型压缩和知识迁移的方法，旨在将大型教师模型中的知识转移到小型学生模型中。

教师模型（已训练）：一个高精度、但可能较为复杂的大型模型。
提取知识：从教师模型的输出（如概率分布、中间特征等）中提取出有用的知识。
学生模型（待训练）：一个轻量化、但性能可能较低的小型模型。
蒸馏训练：利用教师模型提取出的知识，作为学生模型的训练目标进行训练。
精炼学生模型：经过蒸馏训练后的学生模型，能够学习到教师模型的泛化能力，从而达到或接近教师模型的性能。

模型蒸馏是一种在AI领域常见的模型压缩技术，通过将大型模型的知识“蒸馏”到小型模型中，以降低成本并提高性能。通过这一过程，学生模型能在保持低计算成本的同时，学习到教师模型的泛化能力，实现性能的大幅提升，接近教师模型的性能水平。

DeepSeek是否使用OpenAI进行了模型蒸馏？OpenAI指控DeepSeek违反服务条款使用其模型进行违规蒸馏，并停用了DeepSeek的API账号，而DeepSeek尚未正式回应此指控，其一直专注于技术创新以降低模型成本。

OpenAI宣称发现了证据表明DeepSeek使用其专有模型来训练自己的模型**，违反了服务条款中的“蒸馏”禁令。**所谓“蒸馏”，就是上面提到的知识蒸馏，即将较大、功能较强的模型的知识提炼到较小的模型中，以降低成本。

DeepSeek推出的新模型DeepSeek-R1在数学、编程和推理等关键领域的表现能与OpenAI的最强推理模型相媲美，且训练费用仅为OpenAI最新大模型的二十分之一。

木秀于林，风必摧之。DeepSeek确实牛逼，同时也遭到了硅谷的围攻。

二、DeepSeek的技术创新

DeepSeek的技术创新有哪些？DeepSeek通过创新的混合专家架构**（MoE）和多头潜在注意力机制（MLA）****优化模型架构与算法，提高了计算效率，**降低了模型训练和运行的成本。

一、混合专家架构（MoE）

混合专家架构（MoE）是一种允许模型根据输入动态选择合适的专家模块进行处理的架构。在DeepSeek中，MoE架构的应用带来了显著的计算成本降低和性能提升。

动态专家选择：MoE架构的核心在于其动态性。对于每个输入，模型会根据其特性选择最合适的专家模块进行处理。
细粒度专家分割：DeepSeek采用了细粒度的专家分割策略，将专家进一步细分为更小的单元，能够更灵活地组合和激活专家。
共享专家隔离：在DeepSeek的MoE架构中，还引入了共享专家隔离策略。一些专家被标记为共享专家，用于捕捉共同知识并减轻激活专家之间的冗余。

二、多头潜在注意力机制（MLA）

多头潜在注意力机制（MLA）是DeepSeek提出的一种创新的注意力架构，旨在降低推理显存需求并提高计算效率。

低秩联合压缩：MLA通过对注意力键和值进行低秩联合压缩，显著减少了推理时的KV缓存。
门控机制：在MLA中，每个输入token都会通过门控机制选择一部分路由专家参与计算，能够根据输入的特性动态调整计算路径。
位置信息解耦：MLA通过特殊的位置信息解耦策略，解决了压缩后的低秩key-value信息无法直接融入相对位置信息的问题。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述