AI小白的快速入门-大语言模型中的名词，一文带你了解

随着人工智能(AI)的快速发展，越来越多的人开始对这一领域产生浓厚的兴趣。但对于初学者来说，AI开发中的诸多名词可能会让人感到困惑。今天，我们就来一起解密AI开发中的常见名词，让你轻松入门！

1.Prompt（提示）

在人工智能（AI）和机器学习的上下文中，"prompt"一词通常指的是给模型提供的输入或查询，以引导模型生成特定的输出或响应。这种输入可以是一个问题、一段文字、一张图片或其他类型的数据，具体取决于模型的类型和应用场景。

Prompt在人与AI的交互过程中起到了桥梁的作用。无论是与大模型交互，还是使用基于大模型开发的应用，都需要通过Prompt去触发AI模型完成任务。可以把AI模型理解为一个人，需要通过它听得懂的语言和方式来跟它交流，从而让它理解我们的需求，产生有用的回答。因此，一个清晰、准确的Prompt能够帮助AI模型更准确地理解用户的意图和需求，从而生成更符合期望的输出。

Prompt在整个AI中扮演着至关重要的角色，我们完全可以将它称为大模型的编程语言。一个清晰、准确的prompt可以帮助模型更准确地理解用户的意图和需求，从而生成更符合期望的输出。相反，一个模糊或歧义的prompt可能导致模型产生不准确的输出或完全误解用户的意图。可以这么说在大模型实际上都是围绕着prompt进而表现出各种超乎预期的功能，学习和使用prompt是贯穿整个ai始终。

prompt有多重要，参考下openai为prompt工程师拟写的指导就可以知道，链接如下：

Prompt engineering - OpenAI API

2.Models（模型）

当我们谈论AI或机器学习时，经常会听到“模型”这个词。但模型到底是什么呢？其实，说得简单一点，模型就是那个包含了很多参数的文件。

你可以把模型想象成一个“食谱”。食谱上列出了做一道菜所需要的所有原料和步骤，而模型里的参数就像是这些原料和步骤的具体数值和顺序。只不过，模型是用来“做”出预测或决策的，而不是菜。

这些参数是怎么来的呢？它们是通过训练得来的。训练模型，就像是根据很多已知的例子（比如，已知的图片和对应的标签）来调整这些参数，使得模型能够尽可能地准确地进行预测或决策。

训练完成后，我们就可以保存这个模型，也就是保存这些参数到一个文件中。之后，当我们需要用这个模型来做预测或决策时，只需要加载这个文件，输入新的数据，模型就会根据之前学到的“知识”来给出结果。

几乎每一个你使用的大语言模型相关工具，例如ChatGPT，都是基于一个模型进行推理和输出，根据你给出的Prompt，推理出一个一个的输出。

4. Embedding（嵌入）

嵌入是一种将离散型数据（如文本、图像等）转换为连续向量表示的技术。简单来说，就是把复杂的数据转换成计算机更容易理解的形式。在自然语言处理中，词嵌入（Word Embedding）是常用的一种技术，它可以将每个单词表示为一个向量，使得语义上相似的单词在向量空间中相互靠近。这样，计算机就能更好地理解文本的含义和上下文关系。

大语言模型概念中常提到的RAG（检索增强生成，Retrieval-Augmented Generation）就和Embedding有着相辅相成的关系。RAG是一种利用检索技术来增强生成模型性能的方法。在RAG框架中，检索组件负责从大量文档中检索与当前生成任务最相关的信息，然后将这些信息提供给生成模型以指导其生成更准确、更相关的内容。这种方法结合了检索和生成的优点，能够处理复杂、开放域的生成任务。

Embedding在RAG中发挥着关键作用，Embedding为RAG提供了必要的语义向量表示和检索能力。首先，Embedding用于将文档和查询转换为向量表示，这使得检索组件可以计算它们之间的相似性并进行有效的检索。其次，高质量的Embedding可以提高检索的准确性和效率，从而确保生成模型获得最相关的信息。最后，Embedding还可以直接用于初始化生成模型的参数，为生成过程提供有用的语义信息。

4. Fine-Tuning（微调）

微调是在预训练模型的基础上进行调整以适应特定任务的过程。想象一下，你有一个已经训练有素的模型，但你需要让它适应一个新的场景或任务。这时，你就可以通过微调来优化模型的性能。微调不仅可以节省大量训练时间和资源，还能让模型更好地适应特定任务的需求。

5. Tokens（标记或词元）

在人工智能和自然语言处理（NLP）领域，“tokens” 是一个非常基础且重要的概念。Tokens 是指将文本拆分成一个个有意义的小单元，这些小单元可以是单词、标点符号、数字等。这个过程通常被称为“分词”（tokenization）。

分词是NLP预处理步骤中的一个重要环节，它有助于模型更好地理解和处理文本数据。通过将文本拆分成tokens，模型可以更容易地识别出句子中的不同元素，如主语、谓语、宾语等，这对于执行诸如文本分类、情感分析、机器翻译等任务至关重要。

在深度学习模型中，特别是像BERT、GPT等基于Transformer的模型中，输入文本首先会被转换成一个token序列。每个token都会被映射到一个唯一的ID，这个ID会被用作模型的输入。模型内部会学习并理解这些token之间的关系和模式，以便在给定上下文的情况下生成或分类文本。

为什么会提到tokens ，因为tokens与计费息息相关，几乎所有的大语言模型服务都是围绕着tokens计费，而且prompt中还有个特别重要的概念就是tokens压缩，因为实际上所有的模型对于输入输出的tokens都是有限制的。

人工智能大模型越来越火了，离全民大模型的时代不远了，大模型应用场景非常多，不管是做主业还是副业或者别的都行，技多不压身，我这里有一份全套的大模型学习资料，希望给那些想学习大模型的小伙伴们一点帮助！

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓