嵌入空间的概念解释及原理

嵌入空间（Embedding Space)

在引入嵌入空间这个概念之前，我们先了解两个与之相关的概念，局部表示和分布式表示：

局部表示

局部表示通常可以表示成one-hot向量的形式，例如对于颜色我们可以使用不同名字来命名不同颜色的方式进行表示，将所有颜色的名称构成一个词表V，词表的大小为|V|，因此我们可以使用一个|V|维的one-hot向量来表示每一种颜色。在第i种颜色对应的one-hot向量中，只有第i维的值为1，其它的值都为0。采用局部表示的方法通常能够取得较好的解释性，并用于线性模型时有着非常高的计算效率，但一个很严重的缺点既是one-hot向量的维度很高，且不能进行扩展。

分布式表示

对于不同颜色我们还可以采用RGB值来表示，不同的颜色对应三维空间中的一个点，类似与这样的表示方式称为分布式表示。分布式表示的表示能力比局部表示强很多，使用一个三维的稠密向量即可表示所有的颜色。

下表中列出了4种颜色的局部表示和分布式表示

嵌入过程

利用神经网络将高维的局部表示空间，映射到一个非常低维的分布式空间中（分布式空间的维度远远小于局部表示空间），在这个低维空间中，每一个特征不再是坐标轴上的点，而是分散在整个低维空间中。在机器学习中，我们将这一个映射过程称之为嵌入。如下图为一个3维one-hot向量空间和一个2维嵌入空间的对比：