大模型(LLM)到底是什么？和AI有啥关系？

大模型.

于 2025-01-14 15:03:05 发布

阅读量1.7k

点赞数 29

文章标签：人工智能开源 agi 开发语言深度学习大模型

本文链接：https://blog.csdn.net/EnjoyEDU/article/details/145139453

版权

简单科普一下，AI是人工智能，大模型是大语言模型（LLM）的缩写，大模型是AI领域的一个重要领域和分支。

ChatGPT爆火之前，提到AI模型一般指的是垂直模型，比如会做翻译的AI，会下围棋的AI，会对话的AI等。传统的AI都是这种只会做特定领域事情的模型，无法像人类一样，什么都会干。

如果AI什么都能干了，那叫做通用人工智能（AGI）。

2023年OpenAI发布ChatGPT4后，微软研究团队合作发布了一篇论文，《Sparks of Artificial General Intelligence: Early experiments with GPT4》。

文章讲的是GPT4的出现，让人们看到了通用人工智能所迸发出来的火花，因为AI已经突破了原先只能在特定领域发挥智能的限制，变得可以在多个领域做很多了不起的事情。

那是什么让通用人工智能变得可能了呢？这里可以简单讲讲OpenAI这家公司的故事。

00 OpenAI的故事

十年前，2015年的某一天，时任美国YC公司的CEO Sam Altman，找到了深度学习人工智能专家IIya，想要聊聊一起研究AGI的事情。

IIya是2024年诺贝尔物理学奖得主Jeffery Hinton在多伦多大学的博士生，是AlexNet的共同发明者，曾在2012年的ImageNet大赛上获得过冠军。

他和Sam Altman聊完之后，两人一拍即合，最后和马斯克以及Brockman等人共同创办了OpenAI公司，目的是为了探索和打造通用人工智能。

于是，八年之后到了2023年，就有了GPT4，这让人们看到了实现通用人工智能的可能性。

大模型这个名词就是从那个时候开始流行起来的，那大模型到底是什么呢？

以ChatGPT为例，它从无到有，主要经历了三个阶段，预训练，微调，RLHF对齐。

01 预训练阶段

这个阶段是大模型从0到1的训练阶段，它往往需要大量的数据、大量的参数、大量的算力，以及巨大的成本。

大模型和传统AI模型的区别之一，就是大。从上面的描述中可以看到，每种必备条件前面都加了一个限定条件，大量。

拿GPT系列的模型训练参数举例，2018年GPT1发布时，只有1.17亿参数，2019年GPT2发布，升级到15亿参数，等到2020年GPT3发布，参数级别达到了1750亿。

从1.17亿到15亿，最后再到1750亿。每次升级迭代的背后，都带来了大模型的能力跃迁，它变得越来越智能。

预训练阶段的训练方式，是无监督学习，指把网上的大量数据，几乎不做处理，全部丢给GPT模型学习。具体这个数据量有多大，后面会有专门的文章讨论。

预训练结束之后，得到的是一个基础模型(foundation model)，并不是我们直接看到的ChatGPT。但尽管是基础模型，它的能力已经非常惊艳了。

2021年8月，李飞飞和多位学者联合发表了一份200多页的报告《On the Opportunities and Risk of Foundation Models》，详细介绍了基础模型的机遇与挑战。

这份报告中指出，基础模型有两大特点：一个是涌现，一个是同质化。

涌现是指，综合能力的爆棚，代表一个系统的行为是隐形推动的，而不是显式构建的。基础模型就体现出了智能涌现，突然学会了很多没教过它的知识和能力。

同质化是指，基础模型的能力是智能的中心与核心，大模型的任何一点改进会迅速覆盖整个社区，但其缺陷也会被下游所继承。

简单来说，就是基础模型是后面两个阶段的基础，无论怎么样微调，或者如何用RLHF优化，最后都会多多少少带有基础模型自身所携带的缺陷。

比如说经常被人提起的，大模型的幻觉：经常会无中生有编造一些与事实不符的数据和信息。

那基础模型有哪些能力呢？

它主要包含了：语言能力、视觉能力、机器人能力、推理与搜索、人机交互以及理解的能力等。

而上面这些能力，以前都是某个AI特定领域所研究的课题，结果被大模型直接“一锅端”全具备了。

但此时的基础模型，还不能直接拿来使用，因为它现在只是鹦鹉学舌，还不知道如何按照人类的对话方式来交流，所以需要第二阶段：微调。

02 微调阶段

微调阶段做的事情，是让基础模型学会人类的对话方式，具体训练方式是采用有标注信息的数据，让模型进行有监督学习。

比如说，微调之前，大模型的使用体验是这样的：

用户问题：《战狼》的主演是谁？

模型回答：《战狼》的主演是谁？《战狼》是一部优秀的战争题材电影…

其实用户期望的回答是：吴京。

为什么会出现这种情况呢？

因为在预训练阶段，基础模型所具备的能力，本质上是续写，就是在问题的基础上，顺着上文继续往下写。所以它并不知道该如何正确的回答用户的问题。

微调阶段，就是告诉基础模型该如何正确的回答问题，只需要用少量的有标注的数据，模型就可以迅速学会人类交流的方式，然后可以正常回答用户的各种问题。

微调阶段所需要的数据和成本，和预训练相比，要少的多。所以很多公司，会直接选择在开源的预训练模型基础之上，进行微调，变成符合自家公司期待的大模型。

但是仅仅让模型学会如何说人话还不够，还要让它守规矩。就是它的回答必须符合人类的普世价值观，不能随意输出对社会有危害的信息。

因为模型的能力实在是太强了，就连你问它如何造原子弹，如何科学地抢银行，这类问题它都能给你明明白白地讲出来。

为了避免被坏人滥用，所以就需要第三个阶段：RLHF对齐阶段。

03 RLHF阶段

RLHF是Reinforcement Learning from Human Feedback的缩写，中文是“基于人类反馈的强化学习”。

这个阶段的目标就是让模型对齐人类价值观，学会什么是真善美，禁止模型输出有害信息。ChatGPT最开始的时候，这方面做的不太好，被很多网友发现很多漏洞，于是出现很多bug。

OpenAI团队发现之后，也迅速跟进和改正它们对GPT模型的限制，据说是有专门的安全团队来负责这部分工作。

那么RLHF具体是怎么操作的呢？就是通过提问模型，然后对它的回答进行反馈，回答的好，点个好评，回答的差，给个差评。

然后给模型加上一个奖励模型，遇到好评的时候，模型会努力学习并记住这种回答方式，遇到差评的时候，模型会主动避免下次出现同样的回答。

包括现在用户在使用GPT的时候，每次回答后面也有点赞和点差评的按钮，每次使用其实都是在帮助模型进行RLHF学习。

所以说，OpenAI的先发优势给它带来了一定程度上的竞争优势，因为ChatGPT是目前为止，获得用户反馈最多的大模型，而基于用户反馈不断优化迭代，是每个优秀产品的必经之路。

尾声：

简单总结一下，大模型的构建大致上经历了这三个阶段：预训练、微调、RLHF。

在预训练阶段，是大模型“自学成才”的过程，没人教没人带，凭借一己之力，无师自通，从海量数据里掌握了大量的规律和原则。

在微调阶段，有了人类老师的干预，大模型开始学会按照人类的对话方式去说话，并且很快就学会了。

在RLHF阶段，是大模型进入实战的阶段，在不断地接受人类反馈的过程中，大模型也变得越来聪明。

大模型的进化，其实像极了人类成长的过程。

一个小孩，上学之前，没人管没人约束，自由的探索；开始上学之后，有老师管教，学习各种学科知识；进入社会后，被社会各种规训，慢慢变成了这个社会所期待的样子。

但问题的关键是：人类可以被社会规训，那么大模型也可以吗？

这是值得我们每个人去思考的问题。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】