1、分类数据
在实际的应用场景中,有非常多的特征不是连续的数值变量,而是某一些离散的类别。比如用户的性别,用户的地址,用户的兴趣爱好等等一系列特征,都是一些分类值。这些特征一般都无法直接应用在需要进行数值型计算的算法里。
2、独热编码(one hot)
独热编码便是解决这个问题,其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候,其中只有一位有效。
如自然编码为:0,1
独热编码为:10,01 (两位中只有一位有效)
如数字字体识别0~9中,6的独热编码为:
0000001000(六位中只有一位有效)
3、独热编码的优点
①能够处理非连续型数值特征。
②在一定程度上也扩充了特征。比如性别本身是一个特征,经过one hot编码以后,就变成了男或女两个特征。
但是,当特征类别较多时,数据经过独热编码可能会变得过于稀疏。
4、独热编码原理
使用one-hot编码,将离散特征的取值扩展到了欧式空间,离散特征的某个取值就对应欧式空间的某个点。
将离散型特征使用one-hot编码,可以会让特征之间的距离计算更加合理。我们常用的距离或相似度的计算都是在欧式空间的相似度计算,计算余弦相似性,基于的就是欧式空间。
比如,有