机器学习中 embedding层原理

本篇文章主要介绍以下内容：

• 什么是 neural network embedding ？
• 我们为什么需要使用 neural network embedding？
• 以及 embedding 是如何自学习的？

本文中，将谈到这样一个例子，使用 neural network embedding 来表示所有维基百科上的书籍，可以通过这里访问到原作者的推荐系统项目。

Figure 1: Neural Network Embedding of all books on Wikipedia.

Embedding 和 One Hot 编码

上面说了，Embedding 是一个将离散变量转为连续向量表示的一个方式。在神经网络中，embedding 是非常有用的，因为它不光可以减少离散变量的空间维数，同时还可以有意义的表示该变量。

我们可以总结一下，embedding 有以下 3 个主要目的：

1. 在 embedding 空间中查找最近邻&#x