独热编码

独热编码 one-hot code, 即有多少个状态就有多少比特，且只有一个比特为1，其他全为0的一种码制。在机器学习中对于离散型的分类型的数据，需要对其进行数字化比如说性别这一属性，只能有男性或者女性两种，一种简单的方式就是男性为0，女性为1，使用简单的序列对分类值进行表示后，进行模型训练时可能会产生一个问题：特征因为数值不同影响模型的训练效果，在模型训练的过程中不同的值使得同一特征在样本中的权重可能发生变化。为了使训练过程中不因为分类值表示不同对模型产生的负面影响，对分类型的特征进行独热码编码。
独热编码即 One-Hot 编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。

例如对六个状态进行编码：
自然顺序码为 000,001,010,011,100,101
独热编码则是 000001,000010,000100,001000,010000,100000

再例如性别特征有男，女两个值，其独热编码就分别为10和01。

但产生的问题是：当特征类别较多时，数据经过独热编码可能会变得过于稀疏。