【大模型开发】 一文搞懂Embedding工作原理

不懂Embedding，何以懂AI？

本文将从Text Embedding工作原理、Image Embedding工作原理、Vedio Embedding工作原理三个方面，带您一文搞懂Embedding工作原理。

Embedding可视化

一、Text Embedding工作原理

文本向量化（Text Embedding）：将文本数据（词、句子、文档）表示成向量的方法。

词向量化将词转为二进制或高维实数向量，句子和文档向量化则将句子或文档转为数值向量，通过平均、神经网络或主题模型实现。

• 词向量化：将单个词转换为数值向量。

  • 独热编码（One-Hot Encoding）：为每个词分配一个唯一的二进制向量，其中只有一个位置是1，其余位置是0。

  • 词嵌入（Word Embeddings）：如Word2Vec, GloVe, FastText等，将每个词映射到一个高维实数向量，这些向量在语义上是相关的。

词向量化

• 句子向量化：将整个句子转换为一个数值向量。

  • 简单平均/加权平均：对句子中的词向量进行平均或根据词频进行加权平均。

  • 递归神经网络（RNN）：通过递归地处理句子中的每个词来生成句子表示。

  • 卷积神经网络（CNN）：使用卷积层来捕捉句子中的局部特征，然后生成句子表示。

  • 自注意力机制（如Transformer）：如BERT模型，通过对句子中的每个词进行自注意力计算来生成句子表示。