在对数据进行预处理时，应该怎样处理类别型特征？

类别型主要指性别，血型等只有在有限选项内取值的特征。类别型特征原始输入通常是字符串形式，除了决策树等少量模型能直接处理字符串形式的输入，对于逻辑回归，支持向量机等模型来说，类别型特征必须经过处理转换成数值型特征才能正确工作。

在对数据进行预处理时，应该怎样处理类别型特征？

1. 序号编码 Ordinal Encoding

      序号编码通常处理类别间具有大小关系的数据。例如成绩，可以分为低，中，高三档，并且存在高>中>低的排序关系。序号编码会按照大小关系对类别型特征赋予一个数值ID，例如高 ，中，低表示  3，2，1转换后依然保留大小 关系。

2.独热编码One-hot Encoding

独热编码通常处理类别间不具有大小关系的特征。例如血型，一共有4取值（A,B,AB,O),独热编码会把血型变成一个4维稀疏向量。

A表示（1000），B表示（0100），AB(0010) ,O表示（0001）

使用稀疏向量来节省空间，在独热编码下，特征向量只有某一维取值为1，其他位置取值均为0.因此可以利用向量的稀疏表示有效的节省空间，并且目前大部分算法都支持稀疏向量的输入。

配合特征选择来降低维度。高纬度特征会带来几方面的问题。

一是K近邻算法中，高维空间下两点之间的距离很难得到有效的衡量；

二是在逻辑回归模型中，参数的数量会随着维度的增高而增加，容易引起过拟合的问题；

三是通常只有部分维度是对分类，预测有帮助，因此可以考虑配合特征选择来降低维度；

 

3.二进制编码Binary Enconing

二进制编码先用序号编码给每个类别赋予一个类别ID ，然后将类别ID 对应的二进制编码作为结果。

二进制编码本质利用了二进制对ID 进行哈希映射，最终得到0/1特征向量，且维度小于独热编码，节省了存储空间