大模型,尤其是人工智能预训练大模型,作为AI领域的一个重要分支,涉及一系列独特的技术和概念。以下是一些与大模型密切相关的术语及其简要解释:
-
Pre-training - 预训练:指在大规模无标注数据集上训练模型,使其学习到通用的语言或数据表示,之后可以在特定任务上进行微调(fine-tuning)以适应特定需求。
-
Fine-tuning - 微调:在预训练模型的基础上,使用特定任务的有标签数据进一步训练模型,以优化其在该任务上的性能。
-
Transformers - 变换器:一种基于自注意力机制的深度学习架构,特别适合处理序列数据,是现代大模型如BERT、GPT系列的基础。
-
Parameters - 参数:模型内部可学习的权重和偏置,大模型通常拥有数亿至万亿级别的参数量,这使得它们能够捕获更复杂的语言或数据结构。
-
Training Set - 训练集:用于训练模型的数据集,模型在此数据上学习模式和规律。
-
Test Set - 测试集:独立于训练集的数据,用于评估模型在未见过的数据上的表现,确保模型具有良好的泛化能力。
-
Validation Set - 验证集:在训练过程中使用的数据集,用于调整模型参数和选择最佳模型配置,避免过拟合。
-
Supervised Learning - 监督学习:模型在带有标签的数据上进行训练,学习输入与输出之间的映射关系。
-
Unsupervised Learning - 无监督学习:模型在无标签数据上训练,旨在发现数据中的结构或模式。
-
Perplexity - 混淆度:评估语言模型预测能力的指标,值越低表示模型对文本的预测越准确。
-
Prompt Engineering - 提示工程:通过精心设计的提示(输入文本)引导大模型产生特定的输出,是利用大模型进行文本生成的关键技术。
-
Embeddings - 嵌入:将高维数据(如词语、句子)转换成低维向量的过程,便于模型理解和处理。
-
Attention Mechanism - 注意力机制:允许模型在处理输入序列时,根据上下文动态地分配注意力权重,提高处理效率和理解能力。
-
Decoding Strategies - 解码策略:在生成任务中,决定如何从模型的输出概率分布中选择下一个词的方法,如贪婪解码、束搜索(Beam Search)等。
-
Model Scaling - 模型缩放:通过增加模型的宽度、深度或参数量来提升性能的策略,如Neural Scaling Laws探讨了模型大小与性能之间的关系。
这些术语构成了理解大模型工作原理和应用的基础框架。