m0_61977748的博客

LLM中的Embedding是一个至关重要的概念，它在大规模语言处理任务中发挥着核心作用。这篇用于介绍Embedding。一、LLM中的Embedding是一种将高维数据转换为低维向量表示的技术，它在自然语言处理任务中发挥着重要作用。通过捕捉文本的语义信息并降低数据维度，Embedding使得计算机能够更好地理解和处理自然语言数据。随着技术的不断进步，我们可以期待Embedding在未来发挥更加重要的作用。

LLM（Large Language Model，大型语言模型）的Tokenization是自然语言处理（NLP）中的一个重要步骤，它指的是将原始文本转换成模型可以理解和处理的离散符号序列的过程。Tokenization是LLM处理文本数据的基石，它将自然语言文本分解成更小的单元或标记（Token），这些Token可以是单词、单词的一部分（如子词）、甚至是一个字符。然后这些 token 被转换成向量（vector），它们是这些单词的数字表示。

这篇用于介绍Prompt Engineer提示工程指南 | Prompt Engineering Guide (promptingguide.ai)大语言模型Prompt工程-原理详解篇 - 知乎 (zhihu.com)由于篇幅问题，这里只是简单的介绍一下Prompt Engineer相关概念，具体的可以看提示工程指南那篇，写的非常具体。1.Prompt在大语言模型中，"Prompt"（提示）指的是用户输入的文本或问题，它作为模型开始生成回复的初始信息。

这篇主要通过阅读大语言模型综述《Large Language Models:A Survey》来学习LLM的一些概念和基础知识。从零开始学习大语言模型（一）_哔哩哔哩_bilibili最新语言大模型综述 Large Language Models A Survey_large language models: a survey-CSDN博客本文综述了大型语言模型（LLMs）的研究进展和应用情况。LLMs通过在大量文本数据上训练数十亿个参数，实现了对自然语言的理解和生成能力。

现在的很多大语言模型通常是基于Transformer架构，这篇用于介绍Transformer架构。由于之前是学三维重建的，也学习过了Transformer，网上也有很多transformer的详细介绍，这里主要是做个回顾。一、Transformer模型的出现，极大地推动了NLP领域的发展。它不仅在机器翻译任务上取得了显著的成果，还被广泛应用于文本生成、文本摘要、语音识别、图像识别等多个领域。许多知名的预训练语言模型，如BERT、GPT和T5等，都是基于Transformer架构构建的。

智谱AI大模型以GLM（General Language Model）系列为核心，由清华大学、北京智源人工智能研究院等顶尖机构联合研发。这些模型通过自回归填空任务进行预训练，并采用Transformer架构，能够在各种自然语言理解和生成任务上进行微调，展现出强大的语言处理能力。其中，GLM-130B是智谱AI在2022年开源的一个重要模型，它基于GLM的进一步开发，在归一化、激活函数、掩码机制等方面进行了优化，成为高精度千亿规模的中英双语语言模型。