本文介绍了自然语言处理中的关键概念，如token（文本单元）、tokenization（分词）、embedding（词向量表示）和encoding（编码为向量）。着重讲解了词嵌入（word2vec和GloVe）以及onehot编码，并提及了搜索算法beamsearch在上下文中的应用。
token：Token 可以被理解为文本中的最小单位。在英文中，一个 token 可以是一个单词，也可以是一个标点符号。在中文中，通常以字或词作为 token。ChatGPT 将输入文本拆分成一个个 token，使模型能够对其进行处理和理解
tokenlization：将文本转化为token的过程
embedding：一个用来表示token的稠密的向量。token本身不可计算，需要将其映射到一个连续向量空间，才可以进行后续运算，这个映射的结果就是该token对应的embedding。
encoding：表示编码的过程。将一个句子，浓缩成为一个稠密向量，也称为表征，（representation），这个向量可以用于后续计算，用来表示该句子在连续向量空间中的一个点。理想的encoding能使语义相似的句子被映射到相近的空间。
“encoding”（编码）通常指的是将输入数据转换为低维度、紧凑表示的过程。这种编码通常用于降维、特征提取、特征表示等任务，旨在从高维度的输入数据中提取有用的特征，并将其转换为更简洁、更可表达的形式
tokens --> vectore ：通过word-embedding或one hot编码
word-embedding: 词嵌入的目标是将文本中的单词表示成一组连续的向量，使得具有相似语义的单词在向量空间中的距离较近，而语义不相似的单词在向量空间中的距离较远。
常用词嵌入方法：word2vec，GloVe（Global Vectors for Word Representation）
one hot：就是最简单的0-1映射
beam search ：如何通俗的理解beam search？ - 知乎 (zhihu.com)
扫一扫
243
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
