python pipeline是什么意思啊_机器学习tips：什么是pipeline？

一个典型的机器学习构建包含若干个过程1、源数据ETL

2、数据预处理

3、特征选取

4、模型训练与验证

以上四个步骤可以抽象为一个包括多个步骤的流水线式工作，从数据收集开始至输出我们需要的最终结果。因此，对以上多个步骤、进行抽象建模，简化为流水线式工作流程则存在着可行性，对利用spark进行机器学习的用户来说，流水线式机器学习比单个步骤独立建模更加高效、易用。

管道机制在机器学习算法中得以应用的根源在于，参数集在新数据集（比如测试集）上的重复使用。

管道机制实现了对全部步骤的流式化封装和管理（streaming workflows with pipelines）。注意：管道机制更像是编程技巧的创新，而非算法的创新。

接下来我们以一个具体的例子来演示sklearn库中强大的Pipeline用法：

1. 加载数据集from pandas as pdfrom sklearn.cross_validation import train_test_splitfrom sklearn.preprocessing import LabelEncoder

df = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/'

'breast-cancer-wisconsin/wdbc.data', header=None) # Breast Cancer Wisconsin datasetX, y = df.values[:, 2:], df.values[:, 1] # y为字符型标签

# 使用LabelEncoder类将其转换为0开始的数值型encoder = LabelEncoder()

y = encoder.fit_transform(y)