《大语言模型》（一）：大语言模型的认知_大语言模型呈现核心能力金字塔结构-CSDN博客

本文链接：https://blog.csdn.net/weixin_69571628/article/details/145280302

1 人工智能科普

1.1 什么是人工智能？

通过学习掌握了某种技能的机器，我们认为它具备了人工智能。

1.2 图灵测试

图灵测试是一种测试机器是否具有智能的方法，由英国计算机科学家艾伦.图灵提出。图灵测试的目的是评估机器能否以人类的水平进行自然语言交互，从而使人无法区分机器和人类的回答。若人类无法区分与之对话是人类还是机器，那么可以认为机器通过了图灵测试。

1.3 人工智能的三次浪潮

自1956年开始，人工智能经历了三起三落，出现了几次浪潮，现在人工智能已经是处于第三次浪潮了。
第一次浪潮（1956-1976年，20年）：符号主义与逻辑推理
在这一时期，人工智能的研究集中在基于逻辑和规则的系统上，也就是所谓的符号主义。研究人员尝试通过编写明确的规则来模拟人类的思考过程。
第二次浪潮（20世纪80年代到 21 世纪初）：连接主义与机器学习
随着计算能力的增长和个人电脑的普及，第二次AI浪潮开始转向神经网络和机器学习。这个阶段的特点是：

神经网络，模仿人脑结构的计算模型，特别是反向传播算法的应用。

第三次浪潮（2006年至今）：基于互联网大数据的深度学习
特点：

深度学习：利用多层神经网络进行自动特征提取和模式识别，尤其是在图像识别、语音识别和自然语言处理等领域取得了显著成就。
大数据与云计算：互联网带来了海量的数据，而云计算提供了必要的计算基础设施。

2 智能金字塔

在这里插入图片描述
感知： 感知是人工智能最初的核心突破，赋予了机器“看”“听”“感受”的能力，让它们可以接收并理解外部信息。
认知： 如果说感知是让 AI“看见”与“听见”，那么认知则是赋予 AI“理解”与“推理”的能力。这一阶段的核心技术包括自然语言处理、知识图谱和强化学习。
在这里插入图片描述
问题 1：图像识别（yolo) 能够完成到那个层次？
回答：感知，仅仅只是能知道目标位置

问题 2：大模型能够完成到哪个层次？
回答：创造

3 AI 大模型发展历程

AI大模型发展历经三个阶段，分别是萌芽期、沉淀期和爆发期。

萌芽期（1950-2005）： 以传统神经网络模型（如CNN）为代表，从基于专家知识到机器学习的发展，奠定了深度学习基础，为后续大模型研究开创了先河。
沉淀期（2006-2019）： 以Transformer为代表的新型神经网络架构出现，推动了自然语言处理（如Word2Vec、GPT、BERT）和生成模型（如GAN）的发展，为大模型预训练和算法架构打下基础。
爆发期（2020-至今）： 以GPT为代表的预训练大模型迅速发展，成为人工智能领域的主流，性能得到显著提升。

4 Scaling Law

在人工智能，尤其是深度学习领域，Scaling Law 基本上可以描述为：当模型的规模（参数数量、数据量、计算量）增加时，模型的性能会提升。
Scaling Law 通常用幂律（Power Law）来描述，具体的数学形式为： 𝑃 ∝ Size𝛼
其中：

P 是模型的性能，通常可以用测试集上的精度、损失值等来度量；
Size 是模型的规模（如参数数量、训练数据量、计算量等）；
α 是一个常数，表示性能提升的速率。当不受其他两个因素的制约时，模型性能与每个单独的因素都有幂律关系。
通常都会表现为随着规模的增长，性能会持续提升。

决定模型规模的因素：

参数量（模型复杂度）决定了模型的拟合能力，通常参数越多，模型能够表达的能力越强。
计算量（FLOPs）是衡量模型执行所需计算资源的标准。随着模型参数的增加，计算量也会线性增加。
数据量（训练数据）是模型学习的基础，更多的数据通常可以让模型学到更丰富的模式，从而提高其泛化能力。

模型性能受三个因素共同影响，其中计算量对性能的提升最为显著，其次是模型参数，而数据集大小的影响相对较小。在资源不受限制的情况下，性能提升最为显著。

5 大模型的涌现能力

涌现能力是指在大模型中，当模型的规模（包括计算量、模型参数或数据集大小）达到一定程度时，某些能力会“突然”出现拐点，性能肉眼可见地骤然提升。这种能力的提升并不是简单的线性增长，而是质的飞跃。
例如，大模型可能突然具备了多步算术、词义消歧、逻辑推导、概念组合、上下文理解等能力，这些都是传统小模型所难以实现的。