embedding中的One-hot编码

1 什么是One-hot编码

One-hot 编码也称之为“独热编码”，作用是将离散的分类标签转换为二进制向量

2.什么是离散的分类

假设有猫，狗，人三个分类标签，分别用0，1，2表示。这三个标签是相互独立的，不存在大小，先后的关系。

3.什么是二进制向量

我们上面用0，1，2分别表示猫，狗，人。但是这样会存在一个问题，分类标签有一个很重要的作用，计算预测标签和真实标签的相似性，从而计算Loss值，Loss值越小，说明预测标签和真实标签越接近。
如果按照0，1，2来表示猫，狗，人。猫和狗的距离为1，狗和人的距离也为1，但是猫和人的距离为2。这是在计算损失的时候完全不可以接收的，违反了标签之间的独立性。

因此，需要有一种表示方法，将互相独立的标签表示为互相独立的数字，并且数字之间的距离也相等。

这就是one-hot，也叫独热编码

它就用二进制向量来表征这种离散的分类标签。

4.one-hot是如何实现的

将猫狗人进行如下编码

在三维坐标系下，[1, 0, 0]、[0, 1, 0]和[0, 0, 1]这三个向量是互相垂直的，也就是互相正交独立，他们之间距离相等，这就解决了上面说的独立的标签之间，表示方法不对等的情况

5.独立编码是如何用

在神经网络中独立编码是如何使用，假设某一轮推理得到的softmax得分如下，有70%的概率是猫，20%的概率是狗，10%的概率是人。

猫的独立编码是[1,0,0]

为了让最终的Loss最小，需要不断的的调整得分。最理想的情况是Loss为0，即预测值为[1,0,0]。

当然one-hot编码有它的局限性，上面的例子是3分类的例子，那如果分类数量有1万个，我们是不是需要将1万个离散的分类，编码成1万维的向量来计算呢？

这就出现了维度灾难了，而且大量的数据为0，向量稀疏的厉害，此时就需要用其他的优化手段来处理了。