对于词嵌入的理解

谈谈对词嵌入的理解

1. 词嵌入的由来：要讲自然语言给机器处理就要把它处理成向量，也就是机器可以理解的形式。最早的处理处理方式是one-hot编码，但这种方式只能产生一个高维稀疏的矩阵，并且对于每个词语只能表示单一的信息，对于语义等高级信息不能表示。所以就出现了各种词嵌入算法。
2. 词嵌入：将文本中的词汇或短语映射到实数向量空间中，这种映射过程能够捕捉词汇之间的语义和句法关系。嵌入向量的行数是词表的词数，列数表示的是维度。（个人理解就是给每个词进行编码，编码的长度就是维度即列数，每个维度表示这些词在某个方面的分数，但这个方面没有具体含义，类似主成分分析出来的那种）
3. 特征：在向量空间中，相似的词会聚集在一起，形成特定的簇或区域。其实就是把词嵌入向量降维成二维向量，然后那每个词表示在坐标轴上，语义相近的离得近。
4. 意义：将高维稀疏的词汇表转化为低维稠密的向量表示，大大降低数据的维度，使得计算更为高效，同时通过连续的向量表示，词嵌入能够更细致地描述词汇之间的相似性和差异性，从而提高了自然语言处理任务的性能。