数据预处理--独热编码（One-Hot Encoding）和 LabelEncoder标签编码

最新推荐文章于 2024-04-28 20:16:45 发布

lgy54321

最新推荐文章于 2024-04-28 20:16:45 发布

阅读量574

点赞数

分类专栏：机器学习面试机器学习算法 NLP

本文链接：https://blog.csdn.net/lgy54321/article/details/94412313

版权

本文介绍了离散特征的两种编码方式，重点讲解了独热编码（One-Hot Encoding）的原理、应用场景及优缺点。通过pandas的get_dummies和sklearn库展示了实现方法。独热编码能将分类数据转换为可处理的数值形式，适用于解决分类器处理属性数据的问题，并在某些情况下需要进行归一化。然而，当类别数量过多时，可能会导致特征空间过大，此时可以结合PCA进行降维。对于基于树的模型，如决策树，独热编码并非必需，因为它们不依赖向量空间的度量。

摘要由CSDN通过智能技术生成

一、问题由来

在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。

离散特征的编码分为两种情况：

1、离散特征的取值之间没有大小的意义，比如color：[red,blue],那么就使用one-hot编码

2、离散特征的取值有大小的意义，比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}

使用pandas可以很方便的对离散型特征进行one-hot编码

import pandas as pd
df = pd.DataFrame([
            ['green', 'M', 10.1, 'class1'], 
            ['red', 'L', 13.5, 'class2'], 
            ['blue', 'XL', 15.3, 'class1']])
 
df.columns = ['color', 'size', 'prize', 'class label']
 
size_mapping = {
   
           'XL': 3,
           'L': 2