one-hot向量

one-hot向量定义

one-hot向量为有且只有一个元素为1，其余元素都为0的向量. one-hot向量是在数字电路中的一种状态编码，指对任意给定的状态，状态寄存器中只有1位为1，其余位都为0.

——《神经网络与深度学习》 邱锡鹏

 以此定义看，one-hot向量是一个极其稀疏的向量，一个one-hot向量类似于：

α = [0,0,0,0,....,0,1,0,...0]

编码方式对比

binary	Gray	one-hot	one-cold
000	000	00000001	11111110
001	001	00000010	11111101
010	011	00000100	11111011
011	010	00001000	11110111
100	110	00010000	11101111
101	111	00100000	11011111
110	101	01000000	10111111
111	100	10000000	01111111

one-cold编码与one-hot相反，仅有一位为0，其余为1.

one-hot在表示学习中的用途

表示学习中，one-hot通常被用于局部表示(Loacl Representation)特征.

在一个one-hot向量空间中，每样本都位于坐标轴上（其他维都为0，仅有某一维度是1）.