数据预处理在建模中的重要性与常见方法（三）：特征工程篇

数据预处理在建模中的重要性与常见方法（三）：特征工程篇

特征工程是数据预处理中至关重要的一步，通过构建、转换和选择最能代表数据特性的特征，以提高模型的性能和准确性。常见的特征工程方法包括特征选择、特征提取和特征编码。

1. 特征选择

特征选择是从原始特征中选择最有用的特征，以减少模型的复杂性，防止过拟合，提高模型的泛化能力。常用的方法有过滤法、包裹法和嵌入法。

（1）过滤法

方差选择法：

·  应用场景：适用于特征数量较多且计算资源有限的场景，如文本分类和基因数据分析。

·  优点：简单高效，易于实现。

·  缺点：忽略了特征之间的相关性。

（2）包裹法

·  递归特征消除（RFE）： 通过递归训练模型，消除权重最小的特征：

通过递归训练模型，消除权重最小的特征}通过递归训练模型，消除权重最小的特征

·  应用场景：适用于中小规模数据集的特征选择，如医疗数据和营销数据。

·  优点：考虑了特征之间的相互作用。

·  缺点：计算复杂度高，耗时较长。

（3）嵌入法

Lasso回归：

·  应用场景：适用于高维数据的特征选择，如金融数据和生物信息数据。

·  优点：能够同时进行特征选择和模型训练。

·  缺点：对参数的选择较为敏感。

2. 特征提取

特征提取是通过对原始数据进行变换，生成新的特征，以便更好地捕捉数据中的信息。常用的方法有主成分分析（PCA）和线性判别分析（LDA）。

（1）主成分分析（PCA）

·  其中，W是特征向量矩阵。

·  应用场景：适用于高维数据降维，如图像处理和信号处理。

·  优点：能够减少数据维度，保留数据的主要信息。

·  缺点：难以解释提取的特征，丢失部分信息。

（2）线性判别分析（LDA）

·  其中，W是最大化类间方差与类内方差比的投影矩阵。

·  应用场景：适用于带有类别标签的数据降维，如模式识别和图像分类。

·  优点：考虑了类别信息，提高了分类性能。

·  缺点：仅适用于线性可分的数据。

3. 特征编码

特征编码是将分类变量转换为数值变量，使其能够被机器学习算法处理。常用的方法有One-Hot编码和标签编码。

（1）One-Hot编码

·  其中，1的位置对应x_i的类别。

·  应用场景：适用于无序分类变量的编码，如颜色、城市等。

·  优点：简单直观，保留了类别的独立性。

·  缺点：对高基数特征会导致维度爆炸。

（2）标签编码

·  应用场景：适用于有序分类变量的编码，如评级、等级等。

·  优点：节省内存，适合树模型。

·  缺点：可能引入类别之间的顺序关系。

对应的具体代码实现

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

from sklearn.feature_selection import VarianceThreshold, SelectFromModel

from sklearn.linear_model import Lasso

from sklearn.decomposition import PCA

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA

from sklearn.preprocessing import OneHotEncoder, LabelEncoder



plt.rcParams['font.sans-serif']=['SimHei']

plt.rcParams['axes.unicode_minus']=False

# 生成示例数据

np.random.seed(0)

X = pd.DataFrame({

    'feature1': np.random.randn(100),

    'feature2': np.random.randn(100),

    'feature3': np.random.choice(['A', 'B', 'C'], 100)

})

y = np.random.choice([0, 1], 100)

# 特征选择 - 方差选择法

selector = VarianceThreshold(threshold=0.1)

X_var = selector.fit_transform(X[['feature1', 'feature2']])

# 特征提取 - PCA

pca = PCA(n_components=1)

X_pca = pca.fit_transform(X[['feature1', 'feature2']])

# 特征提取 - LDA

lda = LDA(n_components=1)

X_lda = lda.fit_transform(X[['feature1', 'feature2']], y)

# 特征编码 - One-Hot编码

encoder = OneHotEncoder()

X_onehot = encoder.fit_transform(X[['feature3']]).toarray()

# 特征编码 - 标签编码

label_encoder = LabelEncoder()

X_label = label_encoder.fit_transform(X['feature3'])

# 可视化

fig, axs = plt.subplots(2, 2, figsize=(12, 12))

# 方差选择法

axs[0, 0].scatter(X_var[:, 0], X_var[:, 1], c=y)

axs[0, 0].set_title('方差选择法')

# PCA

axs[0, 1].scatter(X_pca, np.zeros_like(X_pca), c=y)

axs[0, 1].set_title('主成分分析（PCA）')

# LDA

axs[1, 0].scatter(X_lda, np.zeros_like(X_lda), c=y)

axs[1, 0].set_title('线性判别分析（LDA）')

# One-Hot编码

axs[1, 1].imshow(X_onehot[:10], aspect='auto', cmap='viridis')

axs[1, 1].set_title('One-Hot编码')

plt.tight_layout()

plt.show()

对应的可视化结果

更多干货内容：