究竟什么是大模型？为什么DeepSeek能突围走红？-CSDN博客

本文链接：https://blog.csdn.net/bagell/article/details/147849798

2025年春节期间，当我们与亲朋好友畅聊家常时，人工智能也成为了热议的焦点话题。从春晚舞台上扭秧歌的人形机器人，到引发全球科技界轰动的DeepSeek，中国的AI大模型及其应用大放异彩，不仅重新点燃了公众对AI技术的热情，更在各大社交平台掀起了一股讨论热潮，随处可见人们分享使用大模型的体验与见解。

**在人工智能领域，大模型是一种具有庞大参数量、极强学习能力的深度学习模型。**模型可以看成一个“函数”，输入文本、图像等数据，通过“运算”，最终输出我们想要的结果。顾名思义，大模型与普通模型的区别就在于“大”，这主要体现在三个方面：一是参数量巨大，通常为数亿到万亿级，例如OpenAI的GPT-3的参数规模为1750亿；二是训练数据量大，大模型需在海量的数据上学习；三是计算资源需求****大，训练需要数千到数万张的高性能GPU，例如，用上千张英伟达显卡V100训练GPT-3需一个月时间，成本达数百万美元。

根据输入数据的类型，大模型可以分成**四类：**语言大模型，处理纯文本数据，支持翻译、问答、文本生成等任务，代表模型有GPT系列、DeepSeek等；视觉大模型，处理图像或视频，例如抖音的即梦；音频大模型，输入语音、音乐或自然声音，实现语音合成、音乐生成等任务，例如昆仑万维的天工SkyMusic；多模态大模型，能同时处理文本、图像、视频、音频等多种类型的数据，例如字节跳动的豆包。

其实，大模型从出现到发展仅不到十年时间。2017年，谷歌革命性提出了一种新的深度学习架构——“Transformer（变换器）”，奠定了大模型技术基础。从2018年开始，OpenAI首先采用“预训练+微调”的模型训练策略，并相继推出了多代语言大模型GPT-1、GPT-2及GPT-3，模型参数量从第一代的1.17亿接连上涨到15亿和1750亿，而且论证了“缩放定律”，即模型的性能会随着参数量、训练数据量和算力的增加而提升。于是，各国科技巨头纷纷入局，在参数规模上你追我赶，大模型发展进入了爆发期。2022年11月，OpenAI发布了基于GPT-3.5的对话产品ChatGPT，它不仅能模仿人类聊天，还能撰写文章、创作诗歌，其强大的功能将语言大模型带进了公众视野，上线两个月用户即破亿。一些研究者开始考虑让大模型处理文本以外的数据，OpenAI推出了能处理文本与图像的多模态大模型DALL-E和CLIP。2023年起，国产大模型也迎来了高速发展阶段，百度的“文心一言”、阿里巴巴的“通义千问”、字节跳动的“豆包”、深度求索的“DeepSeek”等相继问世。

**大模型的根基是深度学习中的神经网络，这就好比盖房子时打的地基。**神经网络由数量众多的神经元节点相互连接组成，这些节点层层交织，形成了一个极为复杂的网络结构。在早期，神经网络处理简单任务时还算得心应手，但一旦面对复杂的序列数据，比如长篇幅的文本，就会显得力不从心。

大模型之所以能如此厉害，主要得益于Transformer架构，它就像是给房子装上了一套智能系统。Transformer是现代大模型的最基础结构，它逐渐取代了传统的“循环神经网络”，成为语言处理的主流方案。两者相比，Transformer的优势在哪？为什么它能孕育出大模型？

循环神经网络是串行计算，当语句较长时很容易丢失前后词语之间的关联关系，而Transformer是并行计算，较好地解决了该问题，并且更适合用GPU处理。举个例子，假设向模型输入“小明昨天放假，他去海边玩了”，提问“谁去海边玩了”，正确回答是“小明”。循环神经网络从“小明”开始读，记忆状态1，然后读“昨天”，记忆状态2，当读到“他”时，需回溯前面的状态1，从而关联“他”与“小明”。如果这两个词距离较远，很可能丢失信息而无法正确关联。而Transformer在同一时间可以并行计算所有词之间的关系，能立即建立“他”与“小明”的关联。研究者将很多个Transformer或其变形堆叠起来，构建出了参数量巨大的大模型，它能将任意两个词之间相邻出现的概率保存下来。

要使如此庞大规模的模型掌握海量知识并胜任复杂任务，其训练方法也极其关键，通常包括三步：第一步预训练，从海量的文本数据中学习语言的语义与规则，这就像人类婴幼儿时期通过观察认识世界。第二步监督微调，用一问一答的数据训练模型，使模型学习各种场合下的问答题。第三步，人类反馈强化学习，上一步获得的模型会给出很多错误回答，为了控制输出质量，向模型输入一些问题，每个问题会得到多个回答，人对这些输出评分，模型根据评分来学习哪些输出更符合人类的偏好。这一步就像我们做数学题时，根据老师的批改不断强化数学知识。

当然，大模型“智力”来源远不止这些，它的成功依赖于架构设计、训练方法、推理优化等各方面的不断突破。

大模型的竞争激烈，为什么DeepSeek能突出重围，迅速走红？

**原因之一是DeepSeek-R1用非常低的成本实现了与GPT-1相媲美的性能。**与GPT采用的通过增加参数提升性能（客观上会带来算力需求的增加，从而增加成本）的路线不同，DeepSeek不迷信堆砌算力，而是通过优化算法来降低成本，比如，改进了Transformer的结构；跳过了大模型通用训练方法中的监督微调，从一个预训练的基础模型开始直接进行强化学习；用底层的汇编语言来部署模型，绕过了英伟达的上层并行计算平台CUDA，为部署在其他硬件上提供了可能性。二是完全开源，其他企业、团队与个人均可自由地使用DeepSeek，并允许商业化，降低了大模型的应用门槛。

当下，大模型正在改变着我们的生活。对于个人，很多人已经熟练地用DeepSeek解答难题、生成PPT大纲、生成旅行攻略、创作小说等，大大提高了学习或工作效率，便利与丰富了日常生活。对于各行业，迎来了大模型商业化的新阶段，将大模型针对特定的领域进行微调，出现了应用于金融、教育、医疗、制造、文化娱乐等垂直领域的行业大模型、企业大模型。例如，国内多家银行已经完成了DeepSeek的部署，用于办公、风险评估、可疑交易监控等。今年年初小红书上线的翻译功能，网友发现除了普通的语句翻译，它还能翻译网络热梗、摩斯密码。

纵观全球大模型的探索与应用热潮，其发展仍面临着一些挑战。大模型有时会“一本正经地胡说八道”，比如编造假的参考文章、说话前后矛盾，这种现象叫作“幻觉”，目前DeepSeek与GPT均存在较大的幻觉问题。另外，模型规模的增长会带来巨大的计算成本，需构建更轻量化的模型或寻求芯片的突破。

过去几年，大模型像引擎般驱动着人工智能的飞速发展，它能否引领我们迈向通用人工智能时代？或许，跨越当下的难题，答案会在未来某一时刻浮现。