One-Hot Encoding

数据预处理之独热编码

问题由来

在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。如性别可分为”male”和”female”。对于这样的特征，通常我们需要对其进行特征数字化，如有以下三个特征属性:
性别:[“male”,”female”]
地区:[“Europe”,”US”,”Asia”]
浏览器:[“Firefox”,”Chrome”,”Safari”,”Internet Explorer”]
对于以下两个样本:
[“male”,”US”,”Internet Explorer”]
[“female”,”Asia”,”Chrome”]
如果采用序列化的方式表示，则以上两个样本特征数字化的结果分别为[0,1,3],[1,2,1]，但是即使转化为数字表示后，上述数据也不能直接用在我们的分类器中。因为分类器往往默认数据是连续的，并且是有序的。但是，按照上述的表示，数字并不是有序的，而是随机分配的。

One-Hot Encoding

One-Hot编码，又称为一位有效编码，主要采用N位状态寄存器对N各状态进行编码，每个状态都有它独立的寄存位，并且在任意时候只有一位有效。如：
自然状态码为:000,001,010,011,100,101
独热编码为:000001,000010,000100,001000,010000,10000
可以这样理解,对于每一个特征,如果它有m个可能值，那么经过独热编码后，就变成了m个二元特征。并且，这些特征互斥，每次只有一个激活。因此数据会变成稀疏的。
这样做的好处有:

1. 解决了分类器不好处理属性数据的问题
2. 在一定程度上也起到了扩充特征的作用

对于上述问题，性别的属性是二维的，地区是三维的，浏览器则是四维的，这样我们可以采用One-Hot编码的方式对上述样本进行编码,如下表:

特征	编码
male	[1,0]
female	[0,1]
Europe	[1,0,0]
US	[0,1,0]
Asia	[0,0,1]
Firefox	[1,0,0,0]
Chrome	[0,1,0,0]
Safari	[0,0,1,0]
Internet Explorer	[0,0,0,1]

那么，针对以下样本,
[“male”,”US”,”Internet Explorer”]
[“female”,”Asia”,”Chrome”]

其完整的特征数字化的结果分别为:[1,0,0,1,0,0,0,0,1]与[0,1,0,0,1,0,1,0,0]

实际的Python代码

from sklearn import preprocessing
enc = preprocessing.OneHotEncoder()
enc.fit([[0,0,3],[1,1,0],[0,2,1],[1,0,2]])
array = enc.transform([[0,1,3]]).toarray()
print array

结果输出[[ 1. 0. 0. 1. 0. 0. 0. 0. 1.]]