特征编码

特征编码

机器学习模型需要的数据是数字型的，因为只有数字类型才能进行计算,而我么你平时处理到的一些数据是很多是符号的，或者是中文的。所以编码是必要的，对于各种各样的特征值去编码实际上就是一个量化的过程

one-hot endcoding

图片来自(微信公众号：Python数据科学)[https://juejin.im/post/5b738ce26fb9a009896c4e4c]
电梯经过特征编码之后就变成了图所示的样子。
我们再一Mnist的label为例子，来说明一下：
我们先对数字7进行编码，

print(data_['train/labels'])
>>> [7 3 4 ... 5 6 8]

如果把[7 3 4 ... ]变成one-hot将会是如下的形式：

[[0. 0. 0. 0. 0. 0. 0. 1. 0. 0.]
 [0. 0. 0. 1. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 1. 0. 0. 0. 0. 0.]
 .......]

使用one-hot编码，将离散特征的取值扩展到了欧式空间，离散特征的某个取值就对应欧式空间的某个点,将离散特征通过one-hot编码映射到欧式空间，是因为，在回归，分类，聚类等机器学习算法中，特征之间距离的计算或相似度的计算是非常重要的，而我们常用的距离或相似度的计算都是在欧式空间的相似度计算，计算余弦相似性，基于的就是欧式空间.

测试代码如下：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data


# no-one-hot
mnist_ = input_data.read_data_sets('/home/ai/dataset/mnist', one_hot=False)
data_ = {}
data_['train/labels'] = mnist_.train.labels
print(data_['train/labels']
>>> [7 3 4 ... 5 6 8]


# one-hot
mnist = input_data.read_data_sets('/home/ai/dataset/mnist', one_hot=True)
data = {}
data['train/images'] = mnist.train.images
data['train/labels'] = mnist.train.labels
print(data['train/labels'][2])
>>> [0. 0. 0. 0. 1. 0. 0. 0. 0. 0.]

label encoding

这是我们给特征向量自定义数字标签。
比如；

类别	label encoding
dog	1
cat	2
mouse	3

这里的１，２，３可以换成任意的数字，可以换成其他的比如4, 7, 8

二者的优点和不足

one-hot

• 优点：
  解决了分类器不好处理分类数据的问题，在一定程度上也起到了扩充特征的作用。它的值只有0和1，不同的类型存储在垂直的空间

比如如果使用one-hot编码，则得到x_1 = (1, 0, 0), x_2 = (0, 1, 0), x_3 = (0, 0, 1)，那么两个工作之间的距离就都是sqrt(2).即每两个工作之间的距离是一样的，显得更合理。

• 缺点：
  要分类的物体不适宜太多，不然维度会变得很大。
  在这种情况下，一般可以用PCA来减少维度。而且one hot encoding+PCA这种组合在实际中也非常有用。

基于参数的模型或基于距离的模型，都是要进行特征的归一化。
将离散型特征进行one-hot编码的作用，是为了让距离计算更合理，但如果特征是离散的，并且不用one-hot编码就可以很合理的计算出距离，那么就没必要进行one-hot编码，比如，该离散特征共有1000个取值，我们分成两组，分别是400和600,两个小组之间的距离有合适的定义，组内的距离也有合适的定义，那就没必要用one-hot 编码。

label encoding

• 优点：
  解决了分类编码的问题，可以自由定义量化数字。但其实也是缺点，因为数值本身没有任何含义，只是排序。如大中小编码为123，也可以编码为321，即数值没有意义。
• 缺点：
  可解释性比较差。比如有[dog,cat,dog,mouse,cat]，我们把其转换为[1,2,1,3,2]，这里就产生了一个奇怪的现象：dog和mouse的平均值是cat。因此，Label encoding编码其实并没有很宽的应用场景。

如何选取编码模型

数据类型

• 定类问题-one-hot
  因为分类问题是，就是纯粹的分类，没有顺序，没有逻辑关系。比如各个国家分类就可以用onehot
• 定序问题-lable-encoding
  也是分类，但是类别之间有逻辑关系。
  比如，学历分小学，初中，高中，本科，研究生，各个类别之间存在一定的逻辑，显然研究生学历是最高的，小学最低。这时候使用Label encoding会显得更合适，因为自定义的数字顺序可以不破坏原有逻辑，并与这个逻辑相对应。

模型类别

• 对数值大小敏感的模型必须使用one-hotencoding。典型的例子就是LR和SVM。二者的损失函数对数值大小是敏感的，并且变量间的数值大小是有比较意义的。而Label encoding的数字编码没有数值大小的含义，只是一种排序，因此对于这些模型都使用one-hot encoding。
• 对数值大小不敏感的模型（如树模型）不建议使用one-hotencoding
  般这类模型为树模型。如果分类类别特别多，那么one-hot encoding会分裂出很多特征变量

参考

1. (机器学习“特征编码”的经验分享：鱼还是熊掌？)[https://juejin.im/post/5b738ce26fb9a009896c4e4c]
2. 数据预处理：独热编码（One-Hot Encoding）
3. 大神手把手教你：(Python)序列数据的One Hot编码
4. 离散型特征编码方式：one-hot与哑变量*
5. 特征提取方法: one-hot 和 TF-IDF