特征编码

最新推荐文章于 2024-06-27 17:50:30 发布

Rudy95

最新推荐文章于 2024-06-27 17:50:30 发布

阅读量2.3k

点赞数

分类专栏：数据挖掘比赛机器学习基础

本文链接：https://blog.csdn.net/Rudy95/article/details/96433394

版权

特征编码是预处理数据的关键步骤，包括离散类别特征的labelencoder、one-hot编码，以及连续型特征的离散化等。one-hot编码虽有维度爆炸的问题，但在某些模型如SVM中适用。目标编码(target encoding)和均值编码(mean encoding)适用于高基数类别特征，但需注意过拟合风险。特征离散化有助于提升模型表达能力和鲁棒性，尤其在逻辑回归中。选择合适的编码方式取决于特征性质和模型类型。

摘要由CSDN通过智能技术生成

离散类别特征

单值有序：

labelencoder
假设特征有m个取值，按照大小，映射0-m-1.

单值无序：

one-hot
优点：
独热编码解决了分类器不好处理属性数据的问题，在一定程度上也起到了扩充特征的作用。它的值只有0和1，不同的类型存储在垂直的空间。
编码后的向量是稀疏向量，只有一位是 1，其他都是 0，可以利用向量的稀疏来节省存储空间
能够处理缺失值。当所有位都是 0，表示发生了缺失。此时可以采用处理缺失值提到的高维映射方法，用第 N+1 位来表示缺失值。
缺点：
1、当类别的数量很多时，特征空间会变得非常大。
2、对于特定任务，例如词向量化，直接使用onehot的方式是无法考虑到词之间的交互关系的，onehot之后损失了部分信息。推而广之，如果特征之间是非独立的（比如上下文的词之间是存在交互关系，时间序列数据之间存在某些内在关系），就不能简单的使用onehot功能
3.KNN 算法中，高维空间下两点之间的距离很难得到有效的衡量；
4.逻辑回归模型中，参数的数量会随着维度的增高而增加，导致模型复杂，出现过拟合问题
5.通常只有部分维度是对分类、预测有帮助，需要借助特征选择来降低维度
决策树不推荐one-hot原因：
产生样本切分不平衡，切分增益会非常小。
影响决策树