one-hot编码

　　在机器学习中，我们很多的特征并不是连续值，而是分类值，这个时候我们我们将这些特征用数字来表示，效率可能就会高很多，但是如果我们任意的编码，这样的特征处理并不能直接放入机器学习算法中，比如我们有一个性别的特征是：性别:['male','female','other']，我们不能随意地编码成0,1,2，而必须要进行one-hot编码，比如这个时候性别的特征是三维的，那么male就是[1,0,0],female就是[0,1,0]，而other则是[0,0,1]。

　　为什么要进行独热编码

　　因为在机器学习中的大部分算法都是基于向量空间中的度量来计算的，为了使得非偏序关系的变量取值不具有偏序性，并且到原点是等距的。使用one-hot编码，将离散特征的取值拓展到了欧式空间，离散特征的某个取值就对应欧式空间的某个点，将离散型特征使用one-hot编码会让特征之间的距离计算更加的合理。离散特征在进行one-hot编码后，编码后的特征其实每个维度的特征都可以看做是连续的特征，就可以跟对连续型特征的归一化方法一样，对每一维特征进行归一化。比如归一化到[-1,1]或归一化到均值为0，方差为1。

　　为什么要将特征向量映射到欧式空间

  将离散特征通过one-hot编码隐射到欧式空间，是因为，在回归、分类、聚类等机器学习算法中，特征之间距离的计算或相似度的计算是非常重要的，而我们常用的距离或者相似度的计算都是在欧式空间的相似度计算，计算余弦相似度，基于的就是欧氏空间。

　　独热编码的优缺点

　　优点：独热编码解决了分类器不好处理属性数据的问题，在一定程度上也起到了扩充特征的作用，它的值只有0和1，不同的类型存储在垂直的空间。

  缺点：当类别的数量很多时，特征空间将会变得很大（同时数据也会变得非常稀疏）。在这种情况下，一般可以使用PCA来减少维度，实际上one-hot+PCA的组合在实际中也非常有用。

　　什么情况下使用或者不使用独热编码

  用的时候是用于解决类别型数据的离散值问题，而对于不用的时候：将离散型特征进行one-hot编码的作用是为了让距离计算更加的合理，但是如果特征是离散的，并且不用one-hot编码就可以很合理地计算出距离，那么就没必要进行one-hot编码，有些基于树的算法在处理变量时，并不是基于向量空间度量，数值只是个类别符号，即没有偏序关系，所以不用进行独热编码，树形模型不太需要独热编码，对于决策树来说，one-hot的本质是增加树的深度，另外如果当前特征类别不太多的时候更加建议考虑。