小白入门大模型指南：大模型36个关键术语解析，从入门到精通！

最新推荐文章于 2025-06-10 10:06:28 发布

和老莫一起学AI

最新推荐文章于 2025-06-10 10:06:28 发布

阅读量513

点赞数 21

文章标签：深度学习语言模型人工智能自然语言处理大模型程序员转行

本文链接：https://blog.csdn.net/2401_85373691/article/details/148529561

版权

随着AI的普及和快速发展，越来越多的人开始关注AI，但是深奥晦涩的专业术语，让很多人望而却步，甚至对于人们应用AI产生了一定困难。因此，社区决定对AI领域的热点概念和专业术语进行解读，并配备相应图表以便于大家更形象的理解。我们将从七大方面进行深度解读，方便大家能够更好的进入该领域学习和应用。

一、基础概念

1. 人工智能（AI）

人工智能（AI）是计算机科学（CS）的一个分支，主要目的是设计开发能够执行人类智能才能完成的任务系统。这些系统能够感知环境变化、处理数据、学习规律、做出决策并解决问题。现代AI系统涵盖了从基于规则的专家系统到基于深度学习的神经网络等多种技术。AI的核心目标是开发出能够在复杂环境中自主运行并产生有价值结果的智能系统，能够大幅提升工作效率，甚至脱离人类协助独立完成复杂任务。

在这里插入图片描述

2. 通用人工智能（AGI）

通用人工智能（AGI）是AI发展的最终目标。所谓的通用，是指具备与人类相近或超越人类智能，并且具备跨越各领域学习和处理复杂任务的能力。AGI系统具备全面思考和学习能力，能够理解抽象概念、进行创造性思维、适应新环境并处理未曾遇到的任务。与当前的专用AI系统不同，AGI不局限于特定领域，而是具备广泛的认知灵活性和学习适应性。

在这里插入图片描述

3. 复杂系统（Complex Systems）

复杂系统是由众多相互关联的组件构成的系统，其整体行为无法简单地从个别组件的属性中推导出来。在AI领域，大型神经网络就是典型的复杂系统。这些系统包含数十亿个参数节点，通过复杂的非线性交互产生智能行为。复杂系统的一个关键特征是非线性的，通俗来讲就是系统内部组件是多因素影响，并非传统意义上的单一线性影响，即微小的输入变化可能导致显著的输出差异。现实生活中的交通系统、互联网、金融市场、生态系统、人体、天气等都属于复杂系统。

在这里插入图片描述

4. 涌现能力（Emergent Abilities）

涌现能力是指在AI模型规模达到特定阈值后突然显现出来的新的能力，这些能力在较小规模的模型中无法观察到或预测。当模型参数量、训练数据量或计算量超过某个临界点时，模型会突然展现出新的认知能力，如多步推理、代码理解、创意写作等。这种现象表明AI能力的发展并非线性增长，而是存在质的飞跃节点。涌现并非AI独有的现象，而是自然界普遍存在的规律。当某一物质达到一定规模后，会涌现出单一物质不具备的新能力，这一现象被称为涌现现象。而此轮AI飞跃发展的核心因素，就是对于涌现规律的深入理解而推动的。

在这里插入图片描述

5. 世界模型（World Models）

世界模型是AI系统对现实世界运作机制的内在理解。AI大模型通过训练过程构建了对物理定律、社会规范、因果关系、时间序列等现实世界规律的内在模型。这种世界知识使模型能够进行合理的推理、预测未来状态、理解上下文关系并生成符合现实逻辑的内容。当然，世界模型目前是一种理想，目前并未有非常清晰的路线和方法来实现。目前的AI系统，只是通过文字图片视频语音等信息来理解世界，这种理解只是通过Token关联概率模拟人类思维而已，距离世界模型非常遥远。

在这里插入图片描述

6. 基础模型（Foundation Model）

基础模型是在大规模多样化数据集上进行预训练的通用AI模型，为后续的特定任务应用提供强大的基础能力。这些模型通过无监督学习获得了广泛的语言理解、知识表示和推理能力，可以通过微调、提示工程等方式适配到具体的应用场景中。基础模型的出现标志着AI开发范式从任务特定模型向通用能力平台的转变。基础模型实际上和大型语言模型（LLM）大多数情况下，是指的相同概念，只不过角色人物和侧重点不一样，大型语言模型更多强调的是参数节点数量巨大。

在这里插入图片描述

二、模型架构

7. 大型语言模型（LLM）

大型语言模型，英文全称Large Language Model，简称LLM。是指参数规模通常在数十亿到数万亿之间的深度神经网络，专门设计用于理解和生成人类语言。目前也是人工智能领域最热门的AI，这些模型通过分析海量文本数据中的统计模式和语义关系，学会了语言的语法结构、语义内容和语用规则。LLM的核心能力包括文本理解、内容生成、语言翻译、问答对话和代码编写等，代表了当前自然语言处理技术的最高水平。目前具有代表性的大模型包括GPT-4，Claude-4，Gemini-2.5等。

8. Transformer架构

Transformer最早由谷歌于2017年在《Attention Is All You Need》论文提出，并且迅速成为自然语言处理（NLP）领域的标配，也是现今所有大模型的核心架构。其革命性的自注意力机制彻底改变了序列建模的方法。与传统的循环神经网络（RNN）不同，Transformer能够并行处理序列中的所有位置，通过注意力权重矩阵捕获任意距离的依赖关系。这种架构设计不仅提高了训练效率，还显著增强了模型对长序列和复杂依赖关系的建模能力。

9. 混合专家模型（MoE）

混合专家模型，是一种能够在保持计算效率的同时，大幅增加模型准确率的架构设计。混合专家模型包含多个专门化的子网络（专家）和门控网络，在处理任何用户输入时只激活其中一部分专家，也就是通过门控网络将任务分解后，激活部分特定专家完成任务。通过这种稀疏激活策略，既确保了任务的精准性，又提升了任务完成效率，MoE模型能够拥有数万亿参数的理论容量，但实际计算成本仅相当于激活专家的总和，实现了参数规模与计算效率的平衡。

10. 扩散模型（Diffusion Model）

扩散模型是一类生成式AI模型，在图像和音视频领域广泛应用，通过模拟数据的噪声扩散过程来学习数据分布，简单说就是模型根据用户输入，将数据从无到有，从无序到有序的完成特定图像或音视频生成任务。训练阶段，模型学习如何将噪声逐步添加到原始数据中；生成阶段，模型从随机噪声开始，通过逆向扩散过程逐步去除噪声，最终生成高质量的数据样本。这种方法在图像生成、音频合成等领域取得了卓越的效果，生成内容的质量和多样性都达到了前所未有的水平。

三、关键技术

11. 自注意力机制（Self-Attention）

自注意力机制是大模型Transformer架构的核心组件，它可以使模型在处理序列时同时关注到序列中的所有位置。通过计算查询向量、键向量和值向量之间的相似度分数，动态分配注意力权重，使模型能够识别和利用序列中的重要信息和依赖关系。自注意力机制的并行化特性和全局视野使其在处理长序列和复杂语言结构时表现出色，在自然语言处理（如机器翻译、文本摘要）和计算机视觉等领域广泛应用，大幅提升了AI智能。

12. 词嵌入（Word Embeddings）

词嵌入（Word Embedding）是自然语言处理（NLP）中的一项关键技术，它将词汇表中的词语映射到低维、稠密的实数向量空间。其核心思想是让语义相近的词在向量空间中也相互靠近。通过训练过程，语义相近的词汇在向量空间中的距离也会相近，使计算机能够通过数学运算理解和处理语言的语义关系。常见的词嵌入模型包括Word2Vec（CBOW和Skip-gram）、GloVe和FastText。这些模型通过分析大规模文本语料库中词语的共现模式来学习词向量。词嵌入为神经网络处理自然语言提供了数学基础，是所有现代语言模型的基础组件。

13. Token分词（Tokenization）

Token分词（Tokenization）是自然语言处理（NLP）的基础步骤，指将连续的文本序列切分成一系列有意义的单元，即“Token”。这些Token可以是词语、子词（subword，如词根、词缀）或单个字符，具体粒度取决于应用需求和所用算法。现代分词算法如字节对编码（BPE）能够在词汇表大小和表示效率之间找到最优平衡，有效处理未知词汇、多语言文本和特殊符号。分词策略的选择直接影响模型的训练效率和语言理解能力。

14. 参数（Parameters）

参数（Parameters）在机器学习和统计模型中，是模型内部用于进行预测或分类的可学习变量。它们是模型从训练数据中学习到的知识的具体体现，其值在训练过程中通过优化算法（如梯度下降）不断调整，以最小化模型在训练数据上的预测误差（损失函数）。在训练过程中，这些参数通过反向传播算法和梯度下降优化不断调整，以最小化预测误差和实际目标之间的差距。参数的数量直接决定了模型的表达能力和学习容量，而参数的质量则决定了模型在具体任务上的性能表现。

15. 上下文长度（Context Length）

上下文长度，是指模型在单次推理中能够处理的最大token数量，这个限制决定了模型能够"记住"和利用的信息范围。更长的上下文允许模型处理更复杂的任务，如长文档分析、多轮对话记忆和复杂推理链。上下文长度是模型架构的关键参数，直接影响其理解长距离依赖关系、处理复杂指令、生成连贯长文本的能力。较长的上下文窗口允许模型捕捉更广泛的语境，但也通常意味着更高的计算成本和内存需求。因此，扩展上下文长度是当前模型研究的重要方向之一，旨在增强模型处理长序列任务的性能。

四、训练方法

16. 规模法则（Scaling Laws）

规模法则描述了模型性能与训练规模（包括参数数量、数据集大小和计算资源）之间的数学关系。研究发现，在一定范围内，这些因素的增加能够以可预测的方式提升模型性能，遵循幂律分布。规模法则为AI系统的设计和资源配置提供了科学依据，指导了大模型发展的技术路线和投资决策。Scalling Laws并非计算机领域独有现象，最早来源于动物世界，主要描述动物的器官大小、代谢速率、寿命、力量、繁殖率等成比例变化的关系，这种关系并非线性关系。**
**

17. 预训练（Pre-training）

预训练是在大规模无标注文本数据上进行的自监督学习过程，模型通过预测序列中的下一个token来学习语言的统计规律和语义知识。这个阶段使模型获得了基础的语言理解能力、世界知识和推理能力。预训练的质量和数据多样性直接影响模型的基础能力水平，为后续的任务特化提供了坚实基础。之后，该模型可在特定下游任务（如文本分类、图像识别）上，利用少量标注数据进行微调（Fine-tuning），从而显著提升任务性能、加快收敛速度并增强泛化能力。BERT、GPT及许多视觉模型均采用此策略。

18. 微调（Fine-tuning）

微调是在预训练模型基础上，使用特定任务的标注数据进行针对性训练的过程。通过调整模型参数，使其适应特定领域的语言特点、任务要求和输出格式。微调过程相比预训练需要更少的数据和计算资源，但能够显著提升模型在目标任务上的表现，实现从通用能力到专业应用的有效转换。通过微调，模型能够将预训练阶段学到的通用知识迁移并特化到具体应用场景，从而以较少的数据和训练成本，快速达到较高的性能水平，实现知识的有效利用和模型的快速适配。

19. RLHF（人类反馈强化学习）

人类反馈强化学习是一种通过人类偏好数据来优化语言模型行为的训练方法。该过程首先训练一个奖励模型来预测人类对模型输出的偏好评分，然后使用强化学习算法优化语言模型以最大化奖励分数。通俗来说，就是设计一个人类认知偏好的奖励模型，用这个奖励模型来给基础模型提供反馈，进而优化基础模型性能的一种训练方法。RLHF能够使模型输出更加符合人类价值观和使用期望，提高响应的有用性、安全性和诚实性。

20. 少样本学习（Few-shot Learning）

少样本学习是指模型仅通过少量标注数据就能快速适应新任务的能力。大型语言模型展现出了强大的少样本学习能力，能够在提示中理解任务要求、学习输入输出格式，并生成符合期望的结果，而无需修改模型参数。这种能力使模型能够快速适应新的应用场景，大大降低了部署和使用的门槛。FSL对于降低数据标注成本、解决冷启动问题、以及在数据稀疏领域（如医学影像、珍稀物种识别）的应用至关重要，是实现更通用、更高效人工智能的关键技术之一。

五、应用策略

21. 提示工程（Prompt Engineering）

提示工程是指用户与大模型AI交互的一种方法，通过设计和优化输入指令以获得理想输出的技巧方法。有效的提示工程包括明确的任务描述、相关的背景信息、合适的输出格式要求和具体的示例展示。通过精心设计的提示，可以显著提升模型在特定任务上的表现，甚至使模型展现出超出其基础训练范围的能力。良好的提示工程能显著提升模型在特定任务上的表现，如文本生成、摘要、翻译、代码编写等，并减少不相关或错误的输出。它涉及对模型能力和行为模式的理解，以及迭代实验来发现最优提示策略，如思维链（Chain-of-Thought）提示。

22. 思维链（Chain-of-Thought）

思维链是一种引导大模型进行逐步推理的提示工程技术，通过要求模型展示从问题到答案的完整思考过程，来提高复杂问题的解决能力。这种方法特别适用于需要多步逻辑推理的任务，如数学问题求解、逻辑分析和复杂决策。思维链技术显著提升了模型在需要深度思考的任务上的准确性和可解释性。模拟了人类解决问题的方法步骤，通过思考过程和任务分解等方法来解决复杂任务。

23. 检索增强生成（RAG）

检索增强生成是一种结合信息检索和生成模型的技术架构，当用户提出查询时，系统首先从外部知识库（如数据库、文档集）中检索与查询相关的最新或特定领域信息片段；然后，将这些检索到的信息作为上下文，连同原始查询一起输入到LLM中，引导模型基于提供的外部知识生成更准确、更具事实依据的回答。RAG系统首先根据查询从知识库中检索相关文档片段，然后将这些信息作为额外上下文提供给生成模型。这种方法有效解决了语言模型的知识陈旧性和信息幻觉问题。

24. 向量数据库（Vector Database）

向量数据库是专门设计用于存储、索引和检索高维向量数据的数据库系统。在AI应用中，文本、图像等数据被转换为向量嵌入后存储在向量数据库中，支持基于语义相似性的快速检索。这使得它们在语义搜索、推荐系统、图像检索、异常检测、以及作为检索增强生成（RAG）的关键组件等方面表现出色。向量数据库优化了传统数据库不擅长处理的向量运算和高维索引，是现代AI应用的重要基础设施。

25. AI智能体（AI Agent）

AI智能体是具备感知环境、制定计划、执行行动和学习改进能力的自主AI系统。智能体能够理解任务目标、分析当前状态、制定行动策略，并通过API调用、工具使用等方式与外部环境交互完成复杂任务。智能体代表了从被动的问答助手向主动的任务执行者的重要演进。AI Agent并非独立技术，而是完全依赖于大模型LLM技术性能，只是针对特定领域场景下的再次开发封装，所以AI智能体所调用的大模型性能，决定了智能体的性能。

六、评估优化

26. 基准测试（Benchmarks）

基准测试是评估AI模型能力和性能的标准化测试集合，涵盖了语言理解、逻辑推理、知识问答、代码生成等多个维度。知名的基准测试包括MMLU（大规模多任务语言理解）、HellaSwag（常识推理）、HumanEval（代码生成）等。这些测试为模型比较、能力评估和技术进展追踪提供了客观的量化标准。我们平常所看到的大模型不同版本发布时，都会直接提供各类测试得分和排序，以此来表示新版本模型在哪些能力上有提升。

27. 困惑度（Perplexity）

困惑度是衡量语言模型对文本序列预测不确定性的指标，数值越低表示模型的预测越准确。困惑度反映了模型对语言分布的建模质量，是评估生成模型性能的重要量化指标。在模型训练过程中，困惑度的变化趋势可以用来监控训练进度和判断模型收敛状态。例如，困惑度为10，意味着模型平均在10个词中选择下一个最可能的词。困惑度依赖于词表大小和分词方式，因此比较不同模型的困惑度时，需确保在相同数据集和预处理条件下进行。

28. 鲁棒性（Robustness）

鲁棒性是指AI模型在面对输入扰动、对抗性攻击或数据分布变化时保持稳定性能的能力。鲁棒的模型能够妥善处理拼写错误、语法变化、恶意输入、域外数据等挑战性情况。一个鲁棒的模型对于未预料到的或“非理想”输入表现出较强的容错性和适应性，不会轻易产生大幅性能下降或错误预测。例如，在图像识别中，对图像轻微旋转、亮度变化或添加微小噪声后，鲁棒模型仍能正确分类。提高模型鲁棒性对于确保AI系统在真实世界应用中的可靠性和安全性具有重要意义。

29. 量化（Quantization）

量化是通过降低模型参数的数值精度来减少存储需求和计算成本的优化技术。常见的量化方法包括将32位浮点数转换为16位、8位甚至更低精度的整数表示。有效的量化技术能够在保持模型性能的同时显著减少内存占用和推理延迟，使大型模型能够在资源受限的环境中部署。虽然量化可能引入微小的精度损失，但通过量化感知训练（QAT）或训练后量化（PTQ）等精细技术，可以在保持模型性能基本不变的前提下，显著提升部署效率，尤其适用于资源受限的边缘设备和追求极致性能的场景。

30. 延迟（Latency）

延迟是指AI从接收输入请求到产生完整输出响应的时间间隔，是衡量AI系统实用性的关键性能指标。低延迟对于实时交互应用（如对话系统、实时翻译）至关重要。影响延迟的主要因素包括模型规模、硬件配置、网络传输、批处理策略和系统优化水平。

七、伦理安全

31. 幻觉（Hallucination）

幻觉是指大模型生成表面看似合理但实际上错误或虚假信息的现象。这种问题源于模型的统计学习本质，它可能将训练数据中的模式错误泛化或填补知识空白时产生不准确的内容。幻觉产生的原因复杂，可能源于训练数据中的偏见或噪声、模型对知识的错误编码、推理能力的局限，或是在生成长文本时难以保持事实一致性。它并非模型“有意欺骗”，而是其基于概率生成文本时可能出现的缺陷。幻觉问题影响了AI系统在需要高准确性场景中的可信度，是当前大模型技术面临的主要挑战之一。

32. 偏见（Bias）

偏见是指AI模型输出中反映的不公平、歧视性或偏颇的倾向，通常源于训练数据中存在的社会偏见、历史不公或数据收集偏差。常见的偏见类型包括性别偏见、种族偏见、文化偏见、年龄偏见等。例如，将特定职业与特定性别强行关联，或对某些群体发表负面言论。识别和缓解AI系统中的偏见对于确保技术的公平性和社会责任至关重要。

33. 对齐（Alignment）

对齐是确保AI系统的行为、目标和价值观与人类期望和社会利益保持一致的过程。这包括使模型输出有用、诚实、无害，避免产生误导性信息或有害内容。实现对齐通常采用指令微调（Instruction Fine-tuning）、基于人类反馈的强化学习（RLHF）等技术，通过人类的指导和偏好数据来塑造模型的输出。AI对齐是一个多层面的挑战，涉及技术方法、伦理框架、社会共识和治理机制的综合应用。

34. 红队测试（Red Teaming）

红队测试是一种主动寻找AI系统安全漏洞和潜在风险的对抗性评估方法。测试人员通过各种创造性的方法尝试触发模型的不当行为，包括越狱攻击、提示注入、有害内容诱导等。红队测试旨在模型部署前或迭代过程中，识别并理解其故障模式，以便开发者能针对性地修复缺陷，提高系统的安全性和鲁棒性。

35. 可解释性AI（XAI）

可解释性AI致力于使AI系统的决策过程变得透明、可理解和可解释。由于深度神经网络的复杂性和非线性特征，理解模型如何得出特定结论是一个重大技术挑战。可解释性AI对于建立用户信任、满足监管要求、改进模型性能和确保AI系统负责任使用具有重要意义。常见XAI技术包括特征重要性分析（如SHAP、LIME）、基于规则的解释、代理模型（用更简单的模型解释复杂模型）以及可视化方法等，力求让人类洞察AI的内部运作机制。

36. 数据隐私（Data Privacy）

数据隐私是指保护在模型训练、微调及与用户交互过程中涉及的个人敏感信息（PII）及其他机密数据，防止其未经授权被访问、泄露或滥用。主要风险包括训练数据中的隐私信息泄露、模型对训练样本的记忆和重现、推理过程中的信息暴露等。保障数据隐私对建立用户信任、实现负责任AI及遵守法规（如GDPR）至关重要。常用对策有训练数据匿名化、差分隐私、联邦学习、安全多方计算、加密技术及严格的数据治理和访问控制策略。

在这里插入图片描述