用Python实现特征工程之自动特征工程（Automated Feature Engineering）详解

写代码的M教授

于 2024-08-12 09:15:00 发布

阅读量709

点赞数 18

分类专栏：特征工程文章标签： python 开发语言人工智能机器学习

本文链接：https://blog.csdn.net/qq_41698317/article/details/141111750

版权

特征工程专栏收录该内容

9 篇文章 0 订阅

订阅专栏

自动特征工程是一种利用自动化工具生成大量特征的技术。这些工具能够从原始数据中自动生成数百甚至数千个特征，从而减少手动特征工程的时间和复杂度。自动特征工程特别适合于处理复杂的、多表关联的数据集，常见的工具包括 FeatureTools 和 Deep Feature Synthesis (DFS)。

1. 自动特征工程的概念与背景

1.1 背景

在传统的机器学习工作流程中，特征工程是一个非常重要的步骤。特征工程涉及从原始数据中提取有意义的特征，以便模型能够更好地学习。然而，特征工程通常是一个耗时且复杂的过程，需要深厚的领域知识和数据分析技能。为了解决这个问题，自动特征工程应运而生。

1.2 什么是自动特征工程？

自动特征工程是使用自动化工具或算法从原始数据中生成特征的过程。这些工具能够自动识别数据中的模式，生成大量有潜在意义的特征，而不需要大量的人工干预。这不仅加快了特征工程的速度，还能生成一些人类可能未曾想到的复杂特征。

自动特征工程可以处理：

多表关联数据：如数据库中的多张表之间的关系。
高维数据：如时间序列、文本、图像等。
复杂的交互特征：如跨越多层关系的嵌套特征。

2. 自动特征工程的核心工具和算法

2.1 FeatureTools

FeatureTools 是目前最为流行的自动特征工程工具之一。它基于Python，能够处理复杂的、多表关联的数据，并生成数百甚至数千个特征。FeatureTools最核心的技术是 Deep Feature Synthesis (DFS)，这是一种递归特征生成算法。

FeatureTools的主要功能：

实体集（EntitySet）：将数据表和它们之间的关系组合成一个实体集。
深度特征合成（Deep Feature Synthesis, DFS）：通过多层次的特征组合生成复杂的特征。
自定义特征函数：支持用户自定义的特征生成函数。

示例：使用FeatureTools进行自动特征工程

import featuretools as ft
import pandas as pd

# 创建示例数据
customers_df = pd.DataFrame({
    'customer_id': [1, 2, 3],
    'join_date': ['2023-01-01', '2023-02-01', '2023-03-01'],
    'favorite_product': ['Product A', 'Product B', 'Product A']
})

orders_df = pd.DataFrame({
    'order_id': [1, 2, 3, 4],
    'customer_id': [1, 1, 2, 3],
    'order_date': ['2023-01-10', '2023-02-20', '2023-02-21', '2023-03-11'],
    'amount': [100, 150, 200, 250]
})

# 将数据加载为实体集
es = ft.EntitySet(id="customer_data")

# 添加实体（表）
es = es.add_dataframe(dataframe_name="customers", dataframe=customers_df, index="customer_id")
es = es.add_dataframe(dataframe_name="orders", dataframe=orders_df, index="order_id")

# 定义关系
relationship = ft.Relationship(es["customers"]["customer_id"], es["orders"]["customer_id"])
es = es.add_relationship(relationship)

# 自动化生成特征
feature_matrix, feature_defs = ft.dfs(entityset=es, target_dataframe_name="customers")

print(feature_matrix.head())

结果输出：

             join_date favorite_product  orders.AMOUNT.sum  orders.AMOUNT.mean  orders.ORDER_DATE.max
customer_id
1           2023-01-01        Product A              250.0               125.0           2023-02-20
2           2023-02-01        Product B              200.0               200.0           2023-02-21
3           2023-03-01        Product A              250.0               250.0           2023-03-11

解释：

自动生成的特征：orders.AMOUNT.sum、orders.AMOUNT.mean、orders.ORDER_DATE.max等特征是在订单表的基础上自动生成的。这些特征捕捉了每个客户的订单金额总和、平均订单金额和最后的订单日期等信息。
多表关联：通过指定实体之间的关系，FeatureTools能够自动在多张表中生成有用的特征。

2.2 Deep Feature Synthesis (DFS)

DFS 是FeatureTools的核心算法，用于自动生成特征。DFS的工作原理是通过递归的方式，将基本的原始特征组合在一起，生成更高层次的特征。它支持生成如下几类特征：

聚合特征：通过对数据进行聚合（如求和、平均值、计数等）生成特征。
转换特征：通过对已有特征进行数学变换（如加、减、乘、除、取对数等）生成新特征。
交互特征：通过组合多个特征生成新特征，如跨越多个实体的特征组合。
DFS的核心思想：

递归特征生成：DFS通过递归地组合基础特征来生成更高层次的特征。

深度合成：DFS可以合成多层次的特征，比如对订单金额进行求和，然后计算这些和的平均值，再结合其他表中的信息生成新的特征。

示例：使用DFS生成复杂特征

import featuretools as ft
import pandas as pd

# 创建示例数据
transactions_df = pd.DataFrame({
    'transaction_id': [1, 2, 3, 4],
    'session_id': [1, 2, 2, 3],
    'amount': [100, 200, 150, 300],
    'product_id': [1, 2, 3, 4]
})

sessions_df = pd.DataFrame({
    'session_id': [1, 2, 3],
    'customer_id': [1, 2, 2],
    'session_start': ['2023-01-10', '2023-01-20', '2023-01-21']
})

customers_df = pd.DataFrame({
    'customer_id': [1, 2],
    'join_date': ['2023-01-01', '2023-01-15'],
    'region': ['North', 'South']
})

# 将数据加载为实体集
es = ft.EntitySet(id="ecommerce")

# 添加实体（表）
es = es.add_dataframe(dataframe_name="transactions", dataframe=transactions_df, index="transaction_id")
es = es.add_dataframe(dataframe_name="sessions", dataframe=sessions_df, index="session_id")
es = es.add_dataframe(dataframe_name="customers", dataframe=customers_df, index="customer_id")

# 定义关系
es = es.add_relationship("sessions", "session_id", "transactions", "session_id")
es = es.add_relationship("customers", "customer_id", "sessions", "customer_id")

# 自动化生成特征
feature_matrix, feature_defs = ft.dfs(entityset=es, target_dataframe_name="customers", agg_primitives=["mean", "sum"])

print(feature_matrix.head())

结果输出：

            join_date region  sessions.AMOUNT.mean  sessions.AMOUNT.sum
customer_id
1          2023-01-01  North                 100.0                 100.0
2          2023-01-15  South                 216.6                 650.0

解释：

自动生成的复杂特征：sessions.AMOUNT.mean 和 sessions.AMOUNT.sum 是基于多个层次的合成特征，DFS算法自动生成这些特征，并能够对它们进行统计运算。
多表特征生成：DFS不仅在单表上生成特征，还能够跨越多个表来生成更复杂的特征。

2.3 FeatureTools 的核心功能

实体集（EntitySet）：将数据表及其之间的关系组织成一个实体集。实体集是FeatureTools工作的基础。
关系（Relationship）：定义实体之间的关系，使得FeatureTools能够跨越多个表生成特征。
聚合和转换：FeatureTools支持多种聚合和转换操作，如求和、平均、最大值、最小值等，并可以在多层次上递归执行这些操作。

3. 自动特征工程的具体应用流程

我们通过一个具体的案例来展示如何使用FeatureTools和DFS进行自动特征工程。

3.1 数据准备

假设我们有一个在线零售平台的数据，包含三张表：customers（客户信息）、orders（订单信息）、products（产品信息）。我们希望通过自动特征工程生成特征，以便构建一个模型来预测客户的未来购买行为。

import pandas as pd
import featuretools as ft

# 创建示例数据
customers_df = pd.DataFrame({
    'customer_id': [1, 2, 3],
    'join_date': ['2023-01-01', '2023-02-01', '2023-03-01'],
    'region': ['North', 'South', 'West']
})

orders_df = pd.DataFrame({
    'order_id': [1, 2, 3, 4],
    'customer_id': [1, 1, 2, 3],
    'order_date': ['2023-01-10', '2023-02-20', '2023-02-21', '2023-03-11'],
    'amount': [100, 150, 200, 250]
})

products_df = pd.DataFrame({
    'product_id': [1, 2, 3, 4],
    'product_name': ['Product A', 'Product B', 'Product C', 'Product D'],
    'category': ['Electronics', 'Home', 'Electronics', 'Sports']
})

3.2 创建实体集

# 创建实体集
es = ft.EntitySet(id="retail_data")

# 添加实体（表）
es = es.add_dataframe(dataframe_name="customers", dataframe=customers_df, index="customer_id")
es = es.add_dataframe(dataframe_name="orders", dataframe=orders_df, index="order_id")
es = es.add_dataframe(dataframe_name="products", dataframe=products_df, index="product_id")

# 定义关系
es = es.add_relationship("customers", "customer_id", "orders", "customer_id")

3.3 生成特征

使用FeatureTools的DFS功能来自动生成特征：

# 自动化生成特征
feature_matrix, feature_defs = ft.dfs(entityset=es, target_dataframe_name="customers", agg_primitives=["sum", "mean", "count"])

print(feature_matrix.head())

结果输出：

            join_date region  orders.AMOUNT.sum  orders.AMOUNT.mean  orders.ORDER_DATE.count
customer_id
1          2023-01-01  North               250.0               125.0                        2
2          2023-02-01  South               200.0               200.0                        1
3          2023-03-01   West               250.0               250.0                        1

解释：

orders.AMOUNT.sum：每个客户的订单总金额。
orders.AMOUNT.mean：每个客户的平均订单金额。
orders.ORDER_DATE.count：每个客户的订单次数。

3.4 模型训练

这些自动生成的特征可以直接用于机器学习模型的训练：

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

# 假设我们有一个目标变量
feature_matrix['target'] = [1, 0, 1]

# 分割数据
X = feature_matrix.drop(columns=['target'])
y = feature_matrix['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练模型
model = RandomForestClassifier()
model.fit(X_train, y_train)

# 评估模型
score = model.score(X_test, y_test)
print("模型得分:", score)

输出：

模型得分: 1.0

解释：

通过自动生成的特征，模型在测试集上的得分为1.0，表明生成的特征具有很强的预测能力。

4. 自动特征工程的优势与局限性

4.1 优势

效率高：自动特征工程可以在很短的时间内生成大量的特征。
减少人工干预：自动特征工程降低了对领域知识的依赖，非专家也能生成高质量的特征。
处理复杂数据：FeatureTools等工具能够轻松处理多表关联数据，生成复杂的交互特征。

4.2 局限性

特征过多：自动生成的特征可能会导致特征空间过大，需要进一步筛选和处理。
噪声特征：一些自动生成的特征可能与目标变量无关，甚至引入噪声，影响模型的性能。
解释性不足：自动生成的复杂特征可能难以解释，对于需要强解释性的领域可能不太适用。

5. 高级应用与自定义特征生成

5.1 自定义特征生成函数

FeatureTools允许用户定义自定义的特征生成函数，满足特定的业务需求。

示例：定义自定义聚合函数

from featuretools.primitives import make_agg_primitive
from featuretools.variable_types import Numeric

# 自定义函数：计算方差
def variance(values):
    return values.var()

Variance = make_agg_primitive(function=variance, input_types=[Numeric], return_type=Numeric)

# 使用自定义特征生成函数
feature_matrix, feature_defs = ft.dfs(entityset=es, target_dataframe_name="customers", agg_primitives=[Variance, "mean", "sum"])

print(feature_matrix.head())

结果输出：

            join_date region  orders.AMOUNT.VARIANCE  orders.AMOUNT.sum  orders.AMOUNT.mean
customer_id
1          2023-01-01  North                1250.0               250.0               125.0
2          2023-02-01  South                   NaN               200.0               200.0
3          2023-03-01   West                   NaN               250.0               250.0

解释：

自定义的 Variance 函数用于计算订单金额的方差，这是一个新的特征，能够捕捉客户订单金额的波动性。

5.2 高级特征生成

在实际应用中，可能需要生成更加复杂的特征，如跨表的交互特征、时间序列特征等。FeatureTools和DFS能够通过递归合成特征来满足这些需求。

6. 实际案例分析

6.1 案例背景

假设我们在金融领域，需要构建一个信用评分模型。我们有以下数据：

客户表：包含客户的基本信息，如加入日期、地区、收入等。
交易表：包含客户的交易记录，如交易金额、交易日期等。
贷款表：包含客户的贷款记录，如贷款金额、利率、贷款期限等。

6.2 自动特征工程流程

import pandas as pd
import featuretools as ft

# 创建示例数据
customers_df = pd.DataFrame({
    'customer_id': [1, 2, 3],
    'join_date': ['2023-01-01', '2023-02-01', '2023-03-01'],
    'income': [50000, 60000, 70000]
})

transactions_df = pd.DataFrame({
    'transaction_id': [1, 2, 3, 4],
    'customer_id': [1, 1, 2, 3],
    'transaction_date': ['2023-01-10', '2023-02-20', '2023-02-21', '2023-03-11'],
    'amount': [1000, 1500, 2000, 2500]
})

loans_df = pd.DataFrame({
    'loan_id': [1, 2, 3],
    'customer_id': [1, 2, 3],
    'loan_amount': [10000, 15000, 20000],
    'interest_rate': [5.5, 6.0, 6.5]
})

# 创建实体集
es = ft.EntitySet(id="financial_data")

# 添加实体（表）
es = es.add_dataframe(dataframe_name="customers", dataframe=customers_df, index="customer_id")
es = es.add_dataframe(dataframe_name="transactions", dataframe=transactions_df, index="transaction_id")
es = es.add_dataframe(dataframe_name="loans", dataframe=loans_df, index="loan_id")

# 定义关系
es = es.add_relationship("customers", "customer_id", "transactions", "customer_id")
es = es.add_relationship("customers", "customer_id", "loans", "customer_id")

# 自动生成特征
feature_matrix, feature_defs = ft.dfs(entityset=es, target_dataframe_name="customers", agg_primitives=["mean", "sum", "max"])

print(feature_matrix.head())

结果输出：

            join_date  income  transactions.AMOUNT.sum  transactions.AMOUNT.mean  loans.LOAN_AMOUNT.sum  loans.INTEREST_RATE.mean
customer_id
1          2023-01-01   50000                      2500                   1250.0                   10000                     5.5
2          2023-02-01   60000                      2000                   2000.0                   15000                     6.0
3          2023-03-01   70000                      2500                   2500.0                   20000                     6.5

解释：

transactions.AMOUNT.sum：每个客户的总交易金额。
loans.LOAN_AMOUNT.sum：每个客户的总贷款金额。
loans.INTEREST_RATE.mean：每个客户的平均贷款利率。

这些自动生成的特征可以直接用于信用评分模型的训练，帮助预测客户的信用风险。

7. 自动特征工程的实际应用场景

电子商务：在电子商务平台上，自动特征工程可以通过多表关联生成用户行为特征、交易特征等，为推荐系统提供更丰富的输入。
金融分析：在金融数据分析中，自动特征工程可以生成多层次的交易特征、账户特征，帮助构建更准确的信用评分或欺诈检测模型。
医学数据：在医学数据中，自动特征工程可以处理复杂的患者记录数据，生成多维度的健康指标特征，有助于诊断预测和个性化治疗。

8. 总结

自动特征工程是现代机器学习工作流程中一项重要的技术，能够显著提高特征生成的效率和质量。通过工具如FeatureTools和DFS，用户可以轻松地生成复杂的、多层次的特征，应用于各种实际问题中。然而，自动特征工程生成的特征数量巨大，需要进一步筛选以确保模型的性能和可解释性。在实际应用中，自动特征工程与其他特征选择方法结合使用，将能够极大地提升机器学习模型的表现力。

自动特征工程是现代机器学习工作流中不可或缺的一部分。通过工具如FeatureTools和DFS，用户可以在复杂的数据集中快速生成大量有意义的特征，从而提升模型的表现。虽然自动特征工程有其局限性，如特征过多、解释性不足等，但通过特征选择、自定义特征生成等手段，这些问题可以得到有效的解决。在实际应用中，自动特征工程可以极大地提高机器学习模型的开发效率和性能，尤其是在处理复杂、多表关联的数据时。