LLM基础概念：Embedding

什么是embedding？

embedding在机器学习和自然语言处理中，主要是将词汇、句子、段落甚至整个文档转换为实数向量的过程。这种转换过程允许模型在进行训练和推理过程中，能够理解和处理语言数据。这些向量能够捕捉单词语义上的相似性，例如词义相近的单词在嵌入空间中的向量会更接近。

embedding有什么作用？

如果大模型是一个函数，Y=f(x)，输入是问题query，输出是答案。

主要作用是为了将离散的符号（通常是词汇）转换为连续的向量形式，这样计算机就能够更好的理解和处理符号数据。

• 语义表示：词嵌入可以挖掘出词汇之间的语义关系，相似的词在嵌入空间中的向量会更接近。比如，“狗”和“狼”的向量在空间中的距离应该比“苹果”和“狗”的向量的距离要更近。
• 可以进行运算：向量化之后，我们可以使用数学运算（如加减）来表达语义的变化。例如，用“国王”减去“男人”再加上“女人”，得到的结果向量在空间中最接近的词可能就是“女王”。
• 降维：自然语言有成千上万的词汇，如果直接使用one-hot编码，会造成维度灾难。Embedding可以将高位的稀疏向量转换为低维的稀疏向量，大大减少模型的复杂度。

如何使用embedding？

embedding本质上是一个特征提取和抽象的过程，也就是对现实世界建模的过程。哪种embedding最能反映语义和提取关键信息，且适合计算，运算效率高，存储空间合适。embedding的选择取决于你的业务需求和数据特征，计算资源和存储资源等。在实际使用中，如果条件允许，建议可以实验多种方法，比较他们的表现，根据实际效果选择最合适的模型。

• 任务需求：不同的词嵌入方法有不同的特性。例如，word2vec往往能够捕捉到更丰富的语义和句法相似性，但在处理生僻词或新出现的词时可能效果不佳。而FastText通过学习词的n-gram表示，能够较好的处理这类问题。如果任务需要了解词的内部结构，比如在拼写检查或者文本分类中，fastText可能是更好的选择。
• 数据量：一般来说，词嵌入模型需要大量的训练文本来获取高质量的词向量。如果你的数据量有限，使用预训练的词向量可能是一个更好地选择。
• 计算资源：训练词嵌入模型需要一定的计算资源。不同模型之间的计算复杂性可能有所不同。例如，GloVe相比Word2Vec通常需要更多的计算资源，因为他需要构建全局的贡献矩阵。
• 数据特征：如果你的数据具有特殊的特性，可能需要选择一种可以处理这些特性的词嵌入方法，或者从零开始训练你自己的模型。