目录
Python数据预处理与特征工程：打造高效机器学习模型的基石
Python数据预处理与特征工程：打造高效机器学习模型的基石
在机器学习的世界里，数据预处理与特征工程是构建高效模型的基石。无论是处理海量的数据集，还是挖掘复杂的数据模式，都离不开这两个关键步骤。本文将详细介绍Python中的数据预处理与特征工程，帮助读者掌握这一领域的核心技术和方法。
4.1 数据预处理与特征工程概述
现实世界中，获取数据的方式有很多，如卷调查、网络爬系统、数据等,通过
将号签
这些渠道获得的数据常常是不完整、不一致的脏数据。
M的
①问卷调查时，调查对象可能不回答个别问题，这就造成了调查数据的缺失。②通过网络爬虫系统获得的据，存在由网页结构定义的代码产生的无效数据。
抽取
③数据库中某些字段的值是特定的编码，需要对这些值进行转码。
应的
④通过手机等终端设备采集的视频、照片信息存在背景噪声过多或模糊现象等。
由于不同的原因,导致采集到的脏数据无法直接用于数据分析，或分析结果不尽如人 学
意，为了改善数据的质量,就需要用到数据预处理技术。数据预处理是对获取的数据进行加工整理，使其满足数据分析的需求，保证了后期数据分析工作的质量和效率。该项工作包括数据抽样、数据标准化及归一化、数据质量提升与数据清洗。基于预处理后的数据，从数据分析的需求出发，构建一个描述数据的特征模型，为后续的数据分析做好准备。
4.2 数据抽样
首先我们要了解为什么要进行数据抽样，数据抽样是为了我们更好地进行数据处理，下面有一个例子，在进行某公司某款产品的客户满意度调查时，若要对几百万份客户满意度问卷数据进行调查，显然是不切实际的，这就需要对客户问卷数据进行抽样，减少数据量，提高调查的工作效率。在数据分析前，进行数据抽样，使数据量既满足数据分析的需求，又能让数据分析平台不会超负荷地运行。看完上面的例子对数据抽样的重要性也有了一定的了解，那么接下来让我们看看几种常见的抽样方式。
1.随机抽样
随机抽样通常用于数据之间差异度较小且样本数目较少时，其主要特点是从总体中逐个抽取样本。方法的优点是操作简便易行，缺点是在样本总体过大时不易实行。主要方法
数据库等，通过如下。
（1）抽签法
一般来说，若一个总体含有N个个体，将N个个体进行编号并将编号记录在号签上，
的无效数据。
将号签放在一个容器中，搅拌均匀后，从中逐个抽取M个个体(M≤N)就得到了容量为 M的样本集。
莫糊现象等。
例如，某中学要调查初三900名学生的数学学习情况。若采用抽签法从900名学生中抽取90名学生进行调查，其具体过程为:先将900名学生从1至900进行编号，并赋予相
析结果不尽如人
应的号签;然后，将900个号签搅拌均匀，并随机地抽取90个号签，这90个号签对应的
获取的数据进行
学生即构成了容量为90的样本集。
效率。该项工作
该方法的特点是操作简单，适用于总体包含的个体数较少的情况，对于个体数较多的总体，要将号签“搅拌均匀”比较困难，那么由抽签法产生的样本很有可能不具代表性。
（2）随机数法
随机数法即利用随机数表、随机数骰子或能产生随机数的计算机程序进行随机抽样的方法。例如，用Java语言中提供的随机数类来产生随机数，通过命令Randomr=new Random( ) ; r.nextInt(5)便可产生0~5的随机整数。
（3）水库抽样法
水库抽样适合用于在有限的存储空间解决无限数据(如由网络产生的海量数据流)等
全量数据进 抽样问题。若数据流只产生一个数据，那么抽取样本时，直接返回该数据;若数据流中有N个数据，读到地N个数据时，以1/N的概率留下该数据。否则，留下前N-1个数据中的一个，以确保数据流中所有的数据被抽取为样本的概率是相等的。
2.系统抽样
3.分成抽样
4.加权抽样
实战案例：
一、数据预处理：从杂乱无章到井井有条
数据预处理是从数据中检测、纠正或删除损坏、不准确或不适用于模型的记录的过程。原始数据往往充满了噪声、缺失值和不一致的地方，直接使用这样的数据训练模型，结果可能会非常糟糕。因此，数据预处理的首要任务就是让数据适应模型，匹配模型的需求。
-
数据类型转换：处理数据类型不一致的问题，如将字符串类型的日期转换为日期类型，将文本数据转换为数值型特征等。
-
处理缺失值：缺失值是数据预处理中常见的问题。常用的处理方法包括使用均值、中位数或众数填充缺失值，或者根据上下文信息预测缺失值。在Python中，可以使用
sklearn.impute.SimpleImputer类来方便地处理缺失值。 -
处理异常值：异常值可能是数据录入错误或数据异常导致的，需要找出并修正或删除这些异常值。例如，可以使用逻辑判断将所有年龄小于0的记录标记为缺失值，为后续处理做好准备。
-
数据清洗：清洗数据是数据预处理中非常重要的一步，包括去除重复记录、处理格式不统一的数据等。
二、特征工程简介
4.1 特征工程概述：
从本质上来说，特征工程是一项工程活动，即通过一系列的方法和操作流程，最大限度地从原始数据中提取有用、有意义的特征以供数据分析的算法和模型使用，其直接影响了数据分析的质量。例如，设计一个关于人类的身材分类器，该分类器的输入为:人的身高和体重，输出为:偏瘦、瘦、标准、胖、偏胖、过度肥胖等6种身材等级。显然，不能仅仅依据人的体重或身高来决定对应的身材等级。为了解决这个问题，通过特征工程，获得一个BMI指数，其中BMI=体重÷(身高x身高)，该指数是基于身高、体重这两个原始特征数据构建的特征模型。通过BMI指数，便可以得出一个人身材等级的合理值。
4.2 进行特征工程的缘由：
“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。”样本特征数据是进行数据分析工作的重要依据，如果特征数据之间冗余度高且数据量庞大，不仅会增加分析工作的复杂度，而且还会降低数据分析工作的质量和效率。利用特征工程技术，可从数据分析需求出发，从样本特征数据中提炼出一些关键特征组。这些特征之间不仅相关度低，而且为分析工作提供了重要信息，依据这些特征开展数据分析，分析工作的质量和效率均能得到大大提高。关键特征组合得越好，数据分析工作的灵活度就越高，分析工作的复杂度会越低。特征工程是数据分析工作的关键环节，其主要内容包括了大数据分析中的特征、特征的重要性、特征、特征取和特征选择、特征构建、特征学习、特征变换等7个方面的内容。
三、特征工程：将原始数据转换为更有用的特征
特征工程是将原始数据转换为更能代表预测模型的潜在问题的特征的过程。通过挑选最相关的特征、提取特征以及创造特征，可以提高模型的精度和泛化能力。
-
特征选择：特征选择是从原始特征中选择出最有用的特征，以降低计算成本和提高模型性能。常用的特征选择方法包括过滤法、嵌入法和包装法。过滤法基于统计测试选择特征，嵌入法通过机器学习算法选择特征，而包装法则通过构建多个模型来选择最优特征子集。
-
特征提取：特征提取是从原始数据中提取出更有用的特征。例如，在文本数据中，可以使用TF-IDF（词频-逆文档频率）等方法提取特征；在图像数据中，可以使用卷积神经网络（CNN）等方法提取特征。
-
特征创造：特征创造是基于现有特征创造新的特征，以更好地捕捉数据中的模式。例如，在房价预测模型中，可以创造“房间数/总面积”等新的特征。
-
无量纲化：无量纲化是将不同规格的数据转换为统一规格的过程。在机器学习中，常用的无量纲化方法包括归一化和标准化。
-
归一化（Normalization）：将数据按照最小值中心化后，再按极差（最大值-最小值）缩放，将数据收敛到[0,1]之间。归一化后的数据服从正态分布。在Python中，可以使用
sklearn.preprocessing.MinMaxScaler类进行归一化处理。 -
标准化（Standardization）：将数据按均值（μ）中心化后，再按标准差（σ）缩放，使数据服从均值为0、方差为1的正态分布。在Python中，可以使用
sklearn.preprocessing.StandardScaler类进行标准化处理。 -
实战案例：
-
四、实战案例：使用Python进行数据预处理与特征工程
以下是一个使用Python进行数据预处理与特征工程的实战案例。
import pandas as pd | |
import numpy as np | |
from sklearn.preprocessing import MinMaxScaler, StandardScaler, KBinsDiscretizer | |
from sklearn.impute import SimpleImputer | |
# 读取数据集 | |
data = pd.read_csv('raw_data.csv') | |
# 查看数据的基本信息 | |
print(data.info()) | |
print(data.describe()) | |
# 检查缺失值 | |
missing_values = data.isnull().sum() | |
print("缺失值情况:\n", missing_values) | |
# 处理缺失值 | |
# 使用均值填充数值型列的缺失值 | |
numeric_columns = data.select_dtypes(include=[np.number]).columns | |
for column in numeric_columns: | |
mean_value = data[column].mean() | |
data[column].fillna(mean_value, inplace=True) | |
# 使用众数填充类别型列的缺失值 | |
categorical_columns = data.select_dtypes(include=['object']).columns | |
for column in categorical_columns: | |
mode_value = data[column].mode()[0] | |
data[column].fillna(mode_value, inplace=True) | |
# 再次检查缺失值情况 | |
print("处理后的缺失值情况:\n", data.isnull().sum()) | |
# 特征缩放与标准化 | |
scaler_minmax = MinMaxScaler() | |
scaled_features_minmax = scaler_minmax.fit_transform(data[numeric_columns]) | |
scaler_standard = StandardScaler() | |
scaled_features_standard = scaler_standard.fit_transform(data[numeric_columns]) | |
# 将处理后的数据重新转换成DataFrame格式 | |
scaled_data_minmax = pd.DataFrame(scaled_features_minmax, columns=numeric_columns) | |
scaled_data_standard = pd.DataFrame(scaled_features_standard, columns=numeric_columns) | |
print("最小-最大缩放后的数据:\n", scaled_data_minmax.head()) | |
print("Z-Score标准化后的数据:\n", scaled_data_standard.head()) | |
# 离散化处理 | |
est = KBinsDiscretizer(n_bins=4, encode='ordinal', strategy='uniform') | |
data['discretized_feature'] = est.fit_transform(data[['some_numeric_feature']]) | |
print(data.head()) |
五、总结
数据预处理与特征工程是机器学习工作流程中不可或缺的一环。通过数据预处理，我们可以提高数据的质量，使其适应模型的需求；通过特征工程，我们可以从原始数据中提取出更有用的特征，提高模型的精度和泛化能力。掌握Python中的数据预处理与特征工程技术，将为我们打造高效机器学习模型奠定坚实的基础。
六、课后习题
扫一扫
520
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
