day23 机器学习管道 Pipeline

于 2025-05-12 23:45:52 发布
阅读量967 收藏 18
点赞数 18
分类专栏： py note 文章标签： 机器学习 人工智能 学习 pandas 信息可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54274596/article/details/147907047
版权

在机器学习中，数据预处理、特征提取、模型训练和评估等步骤通常是按顺序执行的。为了更高效地管理和复用这些步骤，我们可以使用 Pipeline（管道）来构建一个完整的机器学习流水线。本文将详细介绍 Pipeline 的基础概念，并通过一个信贷数据集的案例，展示如何使用 Pipeline 构建高效的机器学习工作流。

一、基础概念

（一）Pipeline 的定义

在机器学习领域，Pipeline（管道或流水线）是一个用于组合多个 估计器（estimator）的 estimator。它按照一定的顺序执行每个估计器的 fit 和 transform 方法，从而实现数据的预处理、特征提取和模型训练等功能。

（二）转换器（Transformer）与估计器（Estimator）

  • 转换器（Transformer）：用于对数据进行预处理和特征提取。它实现了 transform 方法，例如归一化、标准化、特征选择等。转换器是无状态的，不会存储数据的状态信息，仅根据输入数据学习转换规则。

  • 估计器（Estimator）：用于拟合数据并进行预测。它实现了 fit 和 predict 方法，例如分类器、回归器等。估计器是有状态的，会在训练过程中存储数据的状态信息，用于后续的预测。

（三）Pipeline 的优势

  1. 防止数据泄露：在交叉验证中，Pipeline 可以确保预处理步骤在每个折叠内独立执行，避免数据泄露。

  2. 简化超参数调优：可以同时调优预处理步骤和模型的参数。

  3. 代码复用性高：Pipeline 将操作和参数分离，便于复用和维护。

二、代码演示

（一）没有 Pipeline 的代码

以下是传统的机器学习代码示例，展示了手动完成数据预处理、特征提取和模型训练的完整流程：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings("ignore")

# 设置中文字体
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 加载数据
data = pd.read_csv('data.csv')

# 数据预处理
# 1. 标签编码
home_ownership_mapping = {
    'Own Home': 1,
    'Rent': 2,
    'Have Mortgage': 3,
    'Home Mortgage': 4
}
data['Home Ownership'] = data['Home Ownership'].map(home_ownership_mapping)

# 2. 独热编码
data = pd.get_dummies(data, columns=['Purpose'])

# 3. 处理缺失值
continuous_features = data.select_dtypes(include=['int64', 'float64']).columns.tolist()
for feature in continuous_features:
    mode_value = data[feature].mode()[0]
    data[feature].fillna(mode_value, inplace=True)

# 4. 划分数据集
from sklearn.model_selection import train_test_split
X = data.drop(['Credit Default'], axis=1)
y = data['Credit Default']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 5. 模型训练与评估
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report, confusion_matrix

rf_model = RandomForestClassifier(random_state=42)
rf_model.fit(X_train, y_train)
rf_pred = rf_model.predict(X_test)

print("默认随机森林 在测试集上的分类报告：")
print(classification_report(y_test, rf_pred))
print("默认随机森林 在测试集上的混淆矩阵：")
print(confusion_matrix(y_test, rf_pred))

（二）使用 Pipeline 的代码

以下是使用 Pipeline 构建机器学习工作流的代码示例：

1. 导入库和加载数据
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import time
import warnings
warnings.filterwarnings("ignore")
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OrdinalEncoder, OneHotEncoder, StandardScaler
from sklearn.impute import SimpleImputer
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report, confusion_matrix
from sklearn.model_selection import train_test_split

# 加载原始数据
data = pd.read_csv('data.csv')
print("原始数据加载完成，形状为:", data.shape)
2. 分离特征和标签，划分数据集
# 分离特征和标签
y = data['Credit Default']
X = data.drop(['Credit Default'], axis=1)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
print("\n数据集划分完成 (预处理之前)。")
print("X_train 形状:", X_train.shape)
print("X_test 形状:", X_test.shape)
print("y_train 形状:", y_train.shape)
print("y_test 形状:", y_test.shape)
3. 定义预处理步骤
# 识别不同类型的列
object_cols = X.select_dtypes(include=['object']).columns.tolist()
numeric_cols = X.select_dtypes(exclude=['object']).columns.tolist()

# 有序特征
ordinal_features = ['Home Ownership', 'Years in current job', 'Term']
ordinal_categories = [
    ['Own Home', 'Rent', 'Have Mortgage', 'Home Mortgage'],
    ['< 1 year', '1 year', '2 years', '3 years', '4 years', '5 years', '6 years', '7 years', '8 years', '9 years', '10+ years'],
    ['Short Term', 'Long Term']
]
ordinal_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='most_frequent')),
    ('encoder', OrdinalEncoder(categories=ordinal_categories, handle_unknown='use_encoded_value', unknown_value=-1))
])

# 标称特征
nominal_features = ['Purpose']
nominal_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='most_frequent')),
    ('onehot', OneHotEncoder(handle_unknown='ignore', sparse_output=False))
])

# 连续特征
continuous_features = [f for f in X.columns if f not in ordinal_features + nominal_features]
continuous_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='most_frequent')),
    ('scaler', StandardScaler())
])

# 构建 ColumnTransformer
preprocessor = ColumnTransformer(
    transformers=[
        ('ordinal', ordinal_transformer, ordinal_features),
        ('nominal', nominal_transformer, nominal_features),
        ('continuous', continuous_transformer, continuous_features)
    ],
    remainder='passthrough'
)
4. 构建完整 Pipeline
pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),
    ('classifier', RandomForestClassifier(random_state=42))
])
5. 使用 Pipeline 进行训练和评估
print("\n--- 1. 默认参数随机森林 (训练集 -> 测试集) ---")
start_time = time.time()

pipeline.fit(X_train, y_train)
pipeline_pred = pipeline.predict(X_test)

end_time = time.time()
print(f"训练与预测耗时: {end_time - start_time:.4f} 秒")

print("\n默认随机森林 在测试集上的分类报告：")
print(classification_report(y_test, pipeline_pred))
print("默认随机森林 在测试集上的混淆矩阵：")
print(confusion_matrix(y_test, pipeline_pred))

三、总结

通用机器学习Pipeline的逻辑顺序

1. 加载数据

  • 读取数据集。

  • 初步查看数据的基本信息（如形状、列名、数据类型等）。

2. 分离特征和标签

  • 确定目标变量（标签）和特征变量。

  • 分离特征和标签。

3. 划分数据集

  • 将数据划分为训练集和测试集（可选：划分验证集）。

4. 定义预处理步骤

  • 识别不同类型的特征：

    • 分类特征（包括有序分类特征和无序分类特征）。

    • 连续特征。

  • 分类特征处理：

    • 有序分类特征：填充缺失值 + 有序编码。

    • 无序分类特征：填充缺失值 + 独热编码。

  • 连续特征处理：

    • 填充缺失值。

    • 数据标准化或归一化。

  • 其他特征处理：

    • 特殊特征（如文本特征、日期特征等）的处理。

5. 构建预处理转换器（ColumnTransformer）

  • 使用ColumnTransformer将不同的预处理步骤应用于不同的特征列。

6. 选择模型

  • 根据问题类型（分类、回归、聚类等）选择合适的模型。

7. 构建完整的Pipeline

  • 将预处理步骤和模型串联起来，形成完整的Pipeline。

8. 训练和评估模型

  • 在训练集上训练模型。

  • 在测试集上评估模型性能。

  • 输出评估指标（如准确率、召回率、F1分数、混淆矩阵等）。

9. 调优和验证（可选）

  • 使用交叉验证、网格搜索等方法对模型进行调优。

  • 验证模型的泛化能力。

通用机器学习Pipeline模板代码

以下是基于上述逻辑顺序的通用机器学习Pipeline模板代码：

# 导入基础库
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import time
import warnings
warnings.filterwarnings("ignore")
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 导入机器学习相关库
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OrdinalEncoder, OneHotEncoder, StandardScaler, MinMaxScaler
from sklearn.impute import SimpleImputer
from sklearn.model_selection import train_test_split, GridSearchCV, cross_val_score
from sklearn.metrics import classification_report, confusion_matrix, accuracy_score, mean_squared_error, r2_score

# 1. 加载数据
data = pd.read_csv('data.csv')  # 替换为你的数据文件路径
print("原始数据加载完成，形状为:", data.shape)

# 2. 分离特征和标签
target_column = 'target'  # 替换为目标变量的列名
y = data[target_column]
X = data.drop(columns=[target_column])

# 3. 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
print("\n数据集划分完成。")
print("X_train 形状:", X_train.shape)
print("X_test 形状:", X_test.shape)
print("y_train 形状:", y_train.shape)
print("y_test 形状:", y_test.shape)

# 4. 定义预处理步骤
# 识别不同类型的特征
categorical_features = X.select_dtypes(include=['object', 'category']).columns.tolist()
numeric_features = X.select_dtypes(exclude=['object', 'category']).columns.tolist()

# 有序分类特征（如果有）
ordinal_features = []  # 替换为有序分类特征的列名
ordinal_categories = []  # 替换为有序分类特征的类别顺序

# 无序分类特征
nominal_features = [col for col in categorical_features if col not in ordinal_features]

# 预处理转换器
numeric_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='mean')),  # 或 'median', 'most_frequent'
    ('scaler', StandardScaler())  # 或 MinMaxScaler()
])

ordinal_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='most_frequent')),
    ('encoder', OrdinalEncoder(categories=ordinal_categories, handle_unknown='use_encoded_value', unknown_value=-1))
])

nominal_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='most_frequent')),
    ('onehot', OneHotEncoder(handle_unknown='ignore', sparse_output=False))
])

preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('ord', ordinal_transformer, ordinal_features),
        ('nom', nominal_transformer, nominal_features)
    ],
    remainder='passthrough'  # 对未指定的列进行处理（如保留或丢弃）
)

# 5. 选择模型
# 替换为你选择的模型，例如 RandomForestClassifier, LogisticRegression, LinearRegression 等
from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier(random_state=42)

# 6. 构建完整的 Pipeline
pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),
    ('classifier', model)
])

# 7. 训练和评估模型
print("\n--- 模型训练与评估 ---")
start_time = time.time()

# 训练模型
pipeline.fit(X_train, y_train)

# 预测测试集
y_pred = pipeline.predict(X_test)

end_time = time.time()
print(f"训练与预测耗时: {end_time - start_time:.4f} 秒")

# 输出评估指标
print("\n模型在测试集上的分类报告：")
print(classification_report(y_test, y_pred))
print("模型在测试集上的混淆矩阵：")
print(confusion_matrix(y_test, y_pred))

# 可选：输出其他评估指标
print("\n模型在测试集上的准确率：", accuracy_score(y_test, y_pred))
print("模型在测试集上的均方误差（MSE）：", mean_squared_error(y_test, y_pred))
print("模型在测试集上的R²分数：", r2_score(y_test, y_pred))

# 8. 调优和验证（可选）
# 使用 GridSearchCV 或其他方法进行超参数调优
# param_grid = {
#     'classifier__n_estimators': [100, 200],
#     'classifier__max_depth': [None, 10, 20]
# }
# grid_search = GridSearchCV(pipeline, param_grid, cv=5, scoring='accuracy')
# grid_search.fit(X_train, y_train)
# print("\n最佳参数：", grid_search.best_params_)
# print("最佳模型的交叉验证分数：", grid_search.best_score_)

通用Pipeline的说明

  1. 数据加载和预处理：

    • 数据加载部分可以根据实际数据文件格式进行调整（如pd.read_csv、pd.read_excel等）。

    • 预处理步骤可以根据数据的具体情况（如缺失值处理策略、标准化方法等）进行调整。

  2. 特征处理：

    • 分类特征和连续特征的处理方法可以根据具体需求进行选择（如是否需要标准化、是否需要独热编码等）。

    • 特殊特征（如文本特征、日期特征）的处理可以根据具体需求添加额外的转换器。

  3. 模型选择：

    • 模型部分可以根据问题类型（分类、回归、聚类等）选择合适的模型。

  4. 调优和验证：

    • 调优部分可以根据实际需求选择是否使用GridSearchCV或其他调优方法。

    • 交叉验证和超参数调优可以根据具体需求进行配置。

@浙大疏锦行

【人工智能】机器学习的持续交付 （CD4ML）
AI天才研究院
04-29 1万+
机器学习的持续交付 自动化机器学习应用程序的端到端生命周期 机器学习应用程序在我们的行业中变得越来越流行，但是与更传统的软件（例如 Web 服务或移动应用程序）相比，开发、部署和持续改进它们的过程更加复杂。它们会在三个轴上发生变化：代码本身、模型和数据。他们的行为通常很复杂且难以预测，而且他们更难测试、更难解释、更难改进。机器学习持续交付 (CD4ML) 是将持续交付原则和实践引入机器学习应用程序的学科。
【python机器学习】Day23 pipeline管道
2203_75479908的博客
05-12 859
ColumTransformer的核心# --- 定义不同列的类型和它们对应的预处理步骤 ---# 这些定义是基于原始数据 X 的列类型来确定的# 识别原始的 object 列 (对应你原代码中的 discrete_features 在预处理前)# 识别原始的非 object 列 (通常是数值列)# 有序分类特征 (对应你之前的标签编码)# 注意：OrdinalEncoder默认编码为0, 1, 2... 对应你之前的1, 2, 3...需要在模型解释时注意。
Python打卡 DAY 23
2401_86098690的博客
05-12 380
整理下全部逻辑的先后顺序，看看能不能制作出适合所有机器学习的通用pipeline。ColumnTransformer和Pipeline类。转化器和估计器的概念。
【学习计划打卡-Day06】机器学习—管道/评价指标/数据不均衡情况处理
weixin_44571925的博客
11-09 627
管道的优点是可以将多个步骤集成在一起，简化代码实现，提高代码的可读性和可维护性。为了解决这一问题，我们需要在重采样后，再次划分训练集和测试集，以确保训练集和测试集中的样本不重复，从而避免模型在测试集上的表现过于乐观。如果我们直接将重采样处理后的数据集分成训练集和测试集，那么训练集和测试集的类别分布可能会不同，导致模型在测试集上的性能表现与实际应用中的性能表现不一致。因此，对处理后的数据集进行进一步的划分是为了确保训练集和测试集的比例保持不变，以正确评估模型的性能，而不是为了平衡类别分布。
DAY 23 pipeline管道
Era_mo的博客
05-12 500
整理下全部逻辑的先后顺序，看看能不能制作出适合所有机器学习的通用pipeline。ColumnTransformer和Pipeline类。转化器和估计器的概念。
Day23
cr123study的博客
05-12 156
超参数调整：使用 GridSearchCV 或其他方法对模型的超参数进行优化。使用 Pipeline 将预处理步骤和模型训练步骤组合在一起。模型选择：根据任务类型（分类、回归等）选择合适的模型。特征选择：根据数据集的特征选择合适的数值列和分类列。主函数：将以上步骤组合在一起，形成完整的流程。如果测试集有目标变量，评估模型的准确率。如果测试集没有目标变量，仅输出提示信息。数据加载：从文件中加载训练集和测试集。对分类列进行缺失值填充和独热编码。对数值列进行缺失值填充和标准化。定义数值列和分类列。
python学习打卡day23
2201_75852821的博客
05-12 88
整理下全部逻辑的先后顺序，看看能不能制作出适合所有机器学习的通用pipeline。ColumnTransformer和Pipeline类。DAY 23 pipeline管道。数据集选择的是泰坦尼克号数据集。转化器和估计器的概念。
利用机器学习实现实时交易欺诈检测
银行信息系统架构详解
02-25 589
以下是一个基于Python的银行反欺诈AI应用示例代码，演示如何利用机器学习实现。该示例使用LightGBM算法训练模型，并通过Flask框架构建实时检测API：python。
day 23
最新发布
lcccyyy1的博客
05-12 183
一般通用pipeline的实现流程：1.构建多个转换器（transformer），来实现对特征的预处理2.构建 ColumnTransformer，将不同的预处理应用于不同的列子集，构造一个完备的转化器3.构建完整的 Pipeline，将预处理器和模型串联起来。
DAY23
weixin_63060544的博客
05-12 76
特征转换 ：对不同类型的特征（如数值型、类别型）进行相应的转换，例如标准化、编码等。整理下全部逻辑的先后顺序，看看能不能制作出适合所有机器学习的通用pipeline。7. 模型调优 ：通过网格搜索、随机搜索等方法调整模型的超参数，以提高模型性能。5. 模型训练 ：选择合适的机器学习模型并在训练集上进行训练。2. 数据清洗 ：处理缺失值、异常值，去除重复数据等。- 特征选择 ：选择对模型有重要影响的特征。4. 数据集划分 ：将数据划分为训练集和测试集。6. 模型评估 ：使用测试集评估模型的性能。
基于机器学习的黄金价格预测案例
python收藏家的博客
08-15 2345
在这篇文章中，我们将从头开始做一个关于黄金价格预测的项目。要构建任何数据科学项目，我们必须遵循某些步骤，这些步骤不需要以相同的顺序进行。在我们的项目中，我们将按顺序完成这些步骤。
Day04-集成学习-机器学习-回归-调参(DataWhale)
liying_tt的博客
03-24 399
5. 对模型超参数进行调优(调参) 岭回归 J(w)=∑i=1N(yi−w0−∑j=1pwjxij)2+λ∑j=1pwj2(λ≥0)w^=(XTX+λI)−1XTY J(w) = \sum_{i=1}^{N}(y_i-w_0-\sum_{j=1}^{p}w_jx_{ij})^2+\lambda \sum_{j=1}^{p}w^2_j (\lambda \ge 0) \\ \hat{w} = (X^TX+\lambda I)^{-1}X^TY J(w)=i=1∑N​(yi​−w0​−j=1∑p​wj​xij​
【漫话机器学习系列】251.约登指数（Youden‘s Index）
IT古董
05-10 1065
约登指数（Youden's Index）是由W.J. Youden提出的一种二分类模型评估指标，用于衡量模型的整体分类性能。它通过结合真正率（Sensitivity）和特异度（Specificity）来评估模型识别正负样本的能力，计算公式为J = Sensitivity + Specificity - 1。约登指数的取值范围为[-1, 1]，值越大表示模型性能越好，其中J=1表示完美分类，J=0表示模型性能与随机猜测无异，J<0则表示模型表现比随机猜测更差。
机器学习扫盲系列-深入浅出“反向传播”（二）
gdr12的专栏
05-10 1403
深入浅出“反向传播”： 数值微分与泰勒展开式
DeepInjectSQL - 基于 AI 生成对抗网络（GAN）的下一代 SQL 注入自动化漏洞猎手
judahwang的博客
05-09 900
SQLMap本身是一个成熟的自动化SQL注入工具，可以与GAN结合起来，让GAN生成的Payload替代传统的手工或规则生成的测试用例，从而提高检测的覆盖率和效率。GAN通常用于生成类似真实数据分布的数据，例如图片、文本等。在SQL注入的场景下，使用GAN生成Payload的核心在于如何让生成器生成有效的攻击代码，再整合SQLMap进行测试，根据测试结果优化模型，最后形成闭环工具链，看起来是可行，但是其中也是存在一些挑战。
联邦学习图像分类实战：基于FATE与PyTorch的隐私保护机器学习系统构建指南
m0_72958694的博客
05-10 841
在数据孤岛与隐私保护需求并存的今天，联邦学习（Federated Learning）作为分布式机器学习范式，为医疗影像分析、金融风控、智能交通等领域提供了创新解决方案。本文将基于FATE框架与PyTorch深度学习框架，详细阐述如何构建一个支持多方协作的联邦学习图像分类平台，覆盖环境配置、数据分片、模型训练、隐私保护效果评估等全流程，并提供可直接运行的完整代码。
【漫话机器学习系列】250.异或函数（XOR Function）
IT古董
05-10 752
异或函数（XOR Function）是逻辑运算中的一种基础函数，定义为当两个输入不同时输出1，相同时输出0。这一简单的逻辑运算在多个领域中扮演着重要角色。在机器学习和深度学习中，异或函数因其非线性可分性质，推动了多层感知机的发展。在加密和编码领域，异或运算因其可逆性被广泛应用于数据加密和校验。在逻辑电路设计中，异或门是构建加法器等关键模块的基础。Python中可以通过简单的算术或按位操作实现异或函数。理解异或函数不仅对计算机科学和人工智能的学习至关重要，也是掌握现代技术发展的基石。
【动态导通电阻】软硬开关下GaN器件的动态RDSON
荷塘阅色
05-10 145
2019年，浙江大学的Rui Li、Xinke Wu等人基于双脉冲和多脉冲测试方法，研究了在硬开关和软开关条件下商用氮化镓（GaN）功率器件的动态导通电阻（R DSON ）特性。实验结果表明，不同GaN器件在硬开关和软开关条件下的动态R DSON 表现出不同的行为，这些行为受关断电压和频率的影响，且与器件技术相关。该研究还通过数值模拟验证了导致动态R DSON 增加的主要陷阱机制。研究结果对GaN基转换器的设计和损耗估算具有重要意义，为深入理解GaN功率器件的动态特性提供了实验和理论基础。
Java与AI技术结合：从机器学习到生成式AI的实践
lssffy的博客
05-12 1019
在2025年的人工智能（AI）浪潮中，AI技术已广泛应用于金融、医疗、零售等领域，Java凭借其强大的生态系统、跨平台能力和高性能，成为AI开发的热门选择。本文探讨了Java与AI技术的结合，涵盖机器学习、自然语言处理、生成式AI等应用场景，并通过推荐系统案例展示了Java与AI结合带来的显著性能提升：推荐准确率从70%提升至95%，响应延迟从200ms降至20ms。文章详细介绍了Java与AI技术结合的原理、框架（如Deep Java Library、Hugging Face Java API、LangC
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值