AI大神的3小时大模型入门，几分钟看完干货！

大模型.

于 2025-02-20 10:03:56 发布

阅读量950

点赞数 16

文章标签：人工智能 word excel 深度学习 transformer 大模型

本文链接：https://blog.csdn.net/EnjoyEDU/article/details/145746223

版权

前段时间，AI界的大神Andrej Karpathy发布了一段长达三个半小时的大模型教学视频，堪称AI领域的最佳教学资源之一。今天，我将带大家快速了解其中的核心内容。

1、什么是大模型？

首先，我们需要理解什么是大模型。简单来说，大模型是通过大量数据训练出的一组参数，这些参数能够用于预测新数据。当前的大模型数据主要来自互联网，这些数据是人类可读的文字，但机器只能理解0和1。因此，第一步是将这些文字转化为0和1的数字，这个过程称为Tokenization（令牌化）。

2、神经网络架构

在完成Tokenization后，我们使用神经网络架构来处理这些数字。以ChatGPT的微型版NanoGPT为例，当前的神经网络大多基于谷歌2017年发布的Transformer架构。整个网络架构由多个需要训练的参数组成，这些参数通过颜色区分。

神经网络的任务是根据输入的文字序列，预测下一个令牌或文字。例如，输入“I viewing single”会被翻译成四个数字，神经网络会生成下一个令牌的概率分布，并通过概率分布中的抽签机制生成下一个词。随后，通过与实际数据的对比，不断优化和微调神经网络，这一过程称为预训练。

3、预训练与人类学习的类比

大模型的预训练过程类似于DJ打碟，通过不断调整声音参数来达到理想效果。预训练完成后，会生成一个基座模型（Base Model），该模型能够根据输入自动续写文字。然而，预训练只是大模型训练的第一步。

4、监督式微调与强化学习

完整的训练过程类似于人类学习。预训练相当于阅读教科书并记住知识点，而监督式微调则类似于教科书中的问答样例，教会模型如何应用这些知识。最后，强化学习则类似于练习题，模型通过推理和思考得出答案，并与正确答案进行对比，从而不断优化。

最近备受关注的DeepSeek R1模型就是通过强化学习训练的慢思考模型。它在给出答案前会先输出思考过程，这种逐步推导的方式使得模型生成的答案质量更高。

5、大模型的局限性

尽管大模型表现出强大的能力，但它们仍然存在一些局限性，就像一块奶酪，中间有许多漏洞。其中一个主要问题是幻象（Hallucination），即模型在生成内容时可能会编造信息。这是因为在监督式微调过程中，模型会模仿已有的问答样式，即使面对不存在的问题，也会尝试拼凑答案。

为了减少幻象问题，有两种方法：一是在训练过程中加入“我不知道”的样式，帮助模型识别知识边界；二是为模型提供外部工具，如互联网搜索，以增强其回答的准确性。

6、数字理解的误区

另一个常见问题是模型在简单数字比较上的错误。例如，模型可能会认为9.11比9.9大。这是因为模型在训练过程中接触了大量书籍章节编号，导致其对数字的理解出现偏差。因此，了解大模型的能力边界，扬长避短，对于充分发挥其价值至关重要。

7、总结

大模型的训练过程与人类学习有着惊人的相似之处，但它们仍存在一些局限性。通过不断优化训练方法和引入外部工具，我们可以进一步提升大模型的表现，并更好地应用于实际场景中。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】