一文了解LLM大模型相关名词介绍_文本切片是什么模型-CSDN博客

本文链接：https://blog.csdn.net/qq_29101725/article/details/140444322

1、LLM大模型

定义：LLM是一种基于深度学习和自然语言处理技术的大型语言模型，通过大规模的无监督训练来学习人类语言的理解和生成能力。它通常拥有大量的参数，能够处理复杂的自然语言任务。
应用：广泛应用于问答系统、聊天机器人、文本生成、翻译等领域。

2、LangChain

定义：LangChain是一个开源的应用开发框架，旨在将大型语言模型（LLM）与开发者现有的知识和系统相结合，以提供更智能化的服务。
功能：帮助开发者管理与LLM的交互，将多个组件链接在一起，并集成额外的资源，如API和数据库。提供模型输入/输出管理工具、Prompt模板支持、Utils组件（封装大模型常见的植入能力，如搜索引擎、编译器等）和Chains组件（提供大模型针对一系列任务的顺序执行逻辑链）。

3、向量化

定义：在自然语言处理和机器学习领域，向量化是将文本、图像等非结构化数据转换为计算机可以理解的数值向量的过程。
作用：通过向量化，模型可以处理和理解这些数据，进行进一步的计算和分析。

4、向量数据库

定义：向量数据库是一种以向量或数据点的数学表示形式存储数据的数据库。
功能：支持矢量相似性搜索（VSS），即查找与给定查询向量相似的数据点。在人工智能和机器学习领域，向量数据库为生成式人工智能模型提供外部知识库，确保提供可信的数据信息。

5、文本切片

定义：文本切片通常指的是将较长的文本分割成较短的片段或句子的过程，以便进行更高效的处理或分析。
注意：虽然“文本切片”不是一个LLM或自然语言处理领域的专有名词，但在处理大规模文本数据时，文本切片是一种常见的预处理步骤。

6、提示词（Prompt）

定义：在LLM中，提示词是用户提供给模型的初始文本输入，用于引导模型生成响应或完成任务。
作用：通过精心设计的提示词，用户可以更有效地与LLM交互，获得更符合需求的输出。

7、参数

定义：在LLM模型中，参数指的是可调整的变量，这些变量通常包括神经网络中的权重（Weights）和偏置（Biases）。简单来说，参数可以理解为模型为了完成特定任务而需要学习和调整的一系列数值。
作用：参数量决定了模型的复杂度和容量，它能够捕捉和学习数据特征的复杂性。一般来说，参数量在数十亿到数万亿的模型被认为是大型语言模型。参数在模型训练过程中被不断优化，以便更好地捕捉数据中的规律和特征，从而提高模型在新数据上的表现能力。

8、Transformer模型

定义：Transformer是一种基于自注意力机制的深度学习模型，广泛应用于自然语言处理领域。
结构：由多层组成，每层采用输入矩阵并使用模型参数执行各种数学运算，特别是self-attention机制，使其能够处理长序列数据并具有良好的语言建模性能。
应用：许多LLM，如OpenAI的GPT系列模型，都是基于Transformer架构的。

9、LLM大模型类型

Base模型：基础模型，是在海量不同文本上训练出来的预测后续文本的模型。其预测的后续文本未必是对指令和对话的响应。
Chat模型：对话模型，是在Base模型基础上通过对话记录（指令-响应）继续做微调和强化学习，使其在接受指令和用户对话时，能够生成遵循指令、符合人类预期的响应内容。

10、LLM大模型的工作原理

Transformer模型：LLM的核心是Transformer模型，它由多层组成，每层都采用输入矩阵并使用模型参数执行各种数学运算，最显著的是self-attention机制。该机制使得模型能够理解文本中的上下文关系。
嵌入向量（Embeddings）：将文本中的单词或短语转换为固定大小的数值向量，以便LLM更有效地处理。这些向量不仅表示了词汇本身，还捕捉了它们在特定上下文中的含义。
前向传播与反向传播：在训练过程中，LLM通过前向传播接收输入并生成输出，然后通过反向传播调整参数值，以最小化预测结果和实际结果之间的差异。

11、LLM大模型的训练与优化

预训练（Pre-training）：LLM使用大量文本数据集进行无监督学习，学习语言的基本结构和含义。
微调（Fine-tuning）：针对特定任务，使用少量有监督数据对LLM进行微调，以优化其在该任务上的性能。
提示调优（Prompt Tuning）：通过设计合适的提示（Prompt），引导LLM生成符合特定要求的输出。