大模型入门系列（一）什么是大模型？

AI老猴子

于 2024-09-15 11:30:00 发布

阅读量186

点赞数 5

文章标签：人工智能大模型 AI大模型 AI 大模型入门学习大模型开发

本文链接：https://blog.csdn.net/star_nwe/article/details/142219871

版权

从1950年图灵提出“图灵测试”（主要用来评估机器是否能够表现出与人类相当的智能行为）以来，人类对人工智能的探索从未停止过，其间有高峰也有寒冬，最终发展成人工智能的三个学派。

1. 符号主义学派

符号主义强调逻辑推理和形式化的方法，通过逻辑规则和算法来解决问题,符号主义学派擅长解决那些可以被明确定义和形式化的问题，主要运用于最短路径规划、下棋、定理证明等。

符号主义主要有以下弊端:

符号主义依赖于明确的规则和逻辑推理，但在现实世界中，很多情况是模糊不清的，存在不确定性。
随着问题复杂度的增加，符号主义系统的规模也会变得非常庞大，这使得维护和更新系统变得困难。
符号主义系统通常是静态的，一旦设计完成就很难适应环境的变化。
符号主义方法可能涉及复杂的搜索过程，这会导致计算效率低下。

2. 行为主义学派

行为主义学派强调可观察的行为，而不是内部的状态或知识表示。智能行为是在与环境的交互中展现出来的，而不是通过内部的推理或知识处理。行为主义学派借鉴了控制论原理，强调感知-动作型控制系统的重要性，主要用于移动机器人、自动驾驶等领域。

行为主义主要有以下弊端:

难以处理复杂任务
对环境过度依赖
难以模拟人类行为
缺乏长期记忆和学习

3. 连接主义学派

连接主义学派的研究重点在于模仿人脑的运行机制，特别是神经网络的结构和功能。连接主义强调信息的分布式存储和处理，这意味着信息不是储存在单个位置，而是分布在神经网络的各个部分。连接主义方法强调通过学习和适应来改进性能，这与人脑通过经验学习的方式类似，主要应用于图像识别、语音识别、自然语言处理。

连接主义主要有如下弊端:

解释性差：连接主义方法，尤其是深层神经网络，通常被视为“黑盒”模型，这意味着它们的内部工作机理难以解。
数据需求量大：训练高性能的连接主义模型通常需要大量的标注数据。
计算资源要求高：深度学习模型的训练和推理通常需要大量的计算资源。
训练时间长：训练大型神经网络可能需要很长时间，特别是当数据集很大时，这种长时间的训练周期可能不适合实时或快速迭代的应用场景。

通过以上说明，我根据自己的理解给大模型定义如下:

大模型是属于人工智能连接主义学派下的自然语言分支处理的一类模型，最初受人脑的神经元和神经突触的启发，模拟人类学习的方式（人脑的神经元100亿左右，要模拟这种行为参数就会很大，也是称为大模型的一种原因），通过经验（样本）学习，进而产生智能行为。学习过程可以简单通过下图进行说明:

当然实际的模型是很复杂的，也是有很多层的，运用很多知识：比如通过激活函数使各个层直接产生非线性性，通过反向传播算法优化参数，通过丢弃法消除过拟合等。

知道了大模型的由来、定义和大概原理，下面就根据目前网上公开的ChatGLM3-6B模型进行实操下。6B指的是模型参数的大小，又可以简单理解为人类的大脑的神经元数量级别。B代表billion意思，6B也就是60亿参数。一般模型的参数大点是好的，大点可以通过一些方法消除过拟合，如果模型复杂度达不到学习东西的复杂度就很难调整了。