OneHotEncoder独热编码和 LabelEncoder标签编码

在水一个比赛的时候，看到了get_dummies，不知道什么意思，就百度了。记录一下 OneHotEncoder独热编码和 LabelEncoder标签编码。

独热编码one-hot encoding

one-hot的基本思想：将离散型特征的每一种取值都看成一种状态，若你的这一特征中有N个不相同的取值，那么我们就可以将该特征抽象成N种不同的状态，one-hot编码保证了每一个取值只会使得一种状态处于“激活态”，也就是说这N种状态中只有一个状态位值为1，其他状态位都是0。举个例子，假设我们以学历为例，我们想要研究的类别为小学、中学、大学、硕士、博士五种类别，我们使用one-hot对其编码就会得到：

小学 ：[1,0,0,0,0]
中学 ：[0,1,0,0,0]
大学 ：[0,0,1,0,0]
硕士 ：[0,0,0,1,0]
博士 ：[0,0,0,0,1]

独热编码（哑变量 dummy variable）是因为大部分算法是基于向量空间中的度量来进行计算的，为了使非偏序关系的变量取值不具有偏序性，并且到圆点是等距的。使用one-hot编码，将离散特征的取值扩展到了欧式空间，离散特征的某个取值就对应欧式空间的某个点。将离散型特征使用one-hot编码，会让特征之间的距离计算更加合理。离散特征进行one-hot编码后，编码后的特征，其实每一维度的特征都可以看做是连续的特征。就可以跟对连续型特征的归一化方法一样，对每一维特征进行归一化。比如归一化到[-1,1]或归一化到均值为0,方差为1。 

• 优点：独热编码解决了分类器不好处理属性数据的问题，在一定程度上也起到了扩充特征的作用。它的值只有0和1，不同的类型存储在垂直的空间。
• 缺点：当类别的数量很多时，特征空间会变得非常大。在这种情况下，一般可以用PCA来减少维度。而且one hot encoding+PCA这种组合在实际中也非常有用。

但是pandas的get_dummies虽然也是one-hot的编码，但是会生成多列：

dates=pd.date_range('20180310',periods=6)
df=pd.DataFrame({'A':['a','b','a','b'],'B':['a','b','c','d']})
print( pd.get_dummies(df['A']))
print( pd.get_dummies(df['B']))

结果为：

   a  b
0  1  0
1  0  1
2  1  0
3  0  1


   a  b  c  d
0  1  0  0  0
1  0  1  0  0
2  0  0  1  0
3  0  0  0  1

可以看到，A中有两个元素，所以对A编码有两列，B中有四个元素，所以有4列。但这和我想的有点不一样呀

所以准备使用sklearn.preprocessing中的OneHotEncoder （网上找的），网上的例子大多是这个

from sklearn.preprocessing import OneHotEncoder
enc = OneHotEncoder()
enc.fit([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]])  
print(enc.n_values_)
print(enc.feature_indices_)
print(enc.transform([[0, 1, 1]]).toarray())

得到结果：

[2 3 4]
[0 2 5 9]
[[1. 0. 0. 1. 0. 0. 1. 0. 0.]]

我来讲解一下这个 结果：

fit是“训练”，或者成为适应

n_values_，是需要多少位来表示编码。四个list的第一个元素值分别为0,1,0,1 。共有两个元素，所onehot编码用2位就行。n_values_中第一位的值为2。同理，四个list的第二个元素值分别为0,1,2,0 。共有三个元素，所onehot编码用3位就行。n_values_中第一位的值为3.

而feature_indices_表达的和n_value_类似，是说0-1位是为第一个数字编码，2-8是为第二个数字编码，依次类推

transform就是对数组编码了，输入是0,1,1。输出[1. 0. 0. 1. 0. 0. 1. 0. 0.]，表示第一位编码是0。输出[1. 0. 0. 1. 0. 0. 1. 0. 0.]，表示第二位编码是1。输出[1. 0. 0. 1. 0. 0. 1. 0. 0.]，表示第三位编码是1。

标签编码LabelEncoder

LabelEncoder就是很简单的有几个不同的元素就使用连续的数字来进行编码。

不连续的数字或者文本进行编号,还是以学历为例：

小学 ：[0]
中学 ：[1]
大学 ：[2]
硕士 ：[3]
博士 ：[4]

在sklearn中使用LabelEncoder()函数

from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
le.fit([1,5,67,100])
le.transform([1,1,100,67,5])

输出为

[0 0 3 2 1]

参考文献：

【1】 对one hot 编码的理解，sklearn. preprocessing.OneHotEncoder()如何进行fit()的？

【2】特征提取之pd.get_dummies()

【3】OneHotEncoder独热编码和 LabelEncoder标签编码