调研MLBox的EntityEmbedding并用PyTorch重构

什么是实体嵌入(Entity Embeddings)

在处理机器学习问题时，有一个问题必须思考：如何编码数据集中的类别变量？

类别编码的两个基本方法是独热编码（onehot encoding）和标签编码（label encoding）。

独热编码

直观来说就是有多少个状态就有多少比特，而且只有一个比特为1，其他全为0的一种码制。

标签编码

将类别变量表示为连续的数值型变量。

举个例子：

假如有三种颜色特征：红、黄、蓝。 我们需要对其进行向量化或者数字化编码。

那么令：红=1，黄=2，蓝=3，就实现了标签编码，即给不同类别以标签。然而这意味着机器可能会学习到“红<黄<蓝”，但这并不是我们的本意，我们只希望机器能区分它们，并无大小的区别。

这时就要引入独热编码。因为有三种颜色状态，所以就有3个比特。即红色：$[1,0,0]$，黄色：$[0,1,0]$，蓝色：$[0,0,1]$ 。如此一来每两个向量之间的距离都是 2 \sqrt{2}