sklearn学习笔记3——pipeline

最新推荐文章于 2024-07-29 09:51:19 发布
最新推荐文章于 2024-07-29 09:51:19 发布
阅读量1.2w 收藏 17
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wateryouyo/article/details/53909636
版权

pipeline为方便数据处理，提供了两种模式：串行化和并行化


1.串行化，通过Pipeline类实现

通过steps参数，设定数据处理流程。格式为('key','value')，key是自己为这一step设定的名称，value是对应的处理类。最后通过list将这些step传入。前n-1个step中的类都必须有transform函数，最后一步可有可无，一般最后一步为模型。pipe继承了最后一个类的所有方法。

In [42]: from sklearn.pipeline import Pipeline
    ...: from sklearn.svm import SVC
    ...: from sklearn.decomposition import PCA
    ...: pipe=Pipeline(steps=[('pca',PCA()),('svc',SVC())])
    ...:
    ...: from sklearn.datasets import load_iris
    ...: iris=load_iris()
    ...: pipe.fit(iris.data,iris.target)
    ...:
Out[42]:
Pipeline(steps=[('pca', PCA(copy=True, iterated_power='auto', n_components=None,
 random_state=None,
  svd_solver='auto', tol=0.0, whiten=False)), ('svc', SVC(C=1.0, cache_size=200,
 class_weight=None, coef0=0.0,
  decision_function_shape=None, degree=3, gamma='auto', kernel='rbf',
  max_iter=-1, probability=False, random_state=None, shrinking=True,
  tol=0.001, verbose=False))])

训练得到的是一个模型，可直接用来预测，预测时，数据会从step1开始进行转换，避免了模型用来预测的数据还要额外写代码实现。还可通过pipe.score(X,Y)得到这个模型在X训练集上的正确率。 


In [46]: pipe.predict(iris.data)
Out[46]:
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 2, 1, 1, 1, 1, 1, 2, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2])

In [47]: iris.target
Out[47]:
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2])
make_pipeline函数是Pipeline类的简单实现，只需传入每个step的类实例即可，不需自己命名，自动将类的小写设为该step的名。 

In [50]: make_pipeline(StandardScaler(),GaussianNB())
Out[50]: Pipeline(steps=[('standardscaler', StandardScaler(copy=True, with_mean=
True, with_std=True)), ('gaussiannb', GaussianNB(priors=None))])

In [51]: p=make_pipeline(StandardScaler(),GaussianNB())

In [52]: p.steps
Out[52]:
[('standardscaler', StandardScaler(copy=True, with_mean=True, with_std=True)),
 ('gaussiannb', GaussianNB(priors=None))]

同时可以通过set_params重新设置每个类里边需传入的参数，设置方法为step的name__parma名=参数值 

In [59]: p.set_params(standardscaler__with_mean=False)
Out[59]: Pipeline(steps=[('standardscaler', StandardScaler(copy=True, with_mean=
False, with_std=True)), ('gaussiannb', GaussianNB(priors=None))])

2.并行化，通过FeatureUnion实现
FeatureUnion，同样通过(key，value)对来设置，通过set_params设置参数。不同的是，每一个step分开计算，FeatureUnion最后将它们计算得到的结果合并到一块，返回的是一个数组，不具备最后一个estimator的方法。有些数据需要标准化，或者取对数，或onehot编码最后形成多个特征项，再选择重要特征，这时候FeatureUnion非常管用。 


In [60]: from sklearn.pipeline import FeatureUnion
In [61]: from sklearn.preprocessing import StandardScaler
In [63]: from sklearn.preprocessing import FunctionTransformer
In [64]: from numpy import log1p

In [65]: step1=('Standar',StandardScaler())
In [66]: step2=('ToLog',FunctionTransformer(log1p))
In [67]: steps=FeatureUnion(transformer_list=[step1,step2])

In [68]: steps.fit_transform(iris.data)
Out[68]:
array([[-0.90068117,  1.03205722, -1.3412724 , ...,  1.5040774 ,
         0.87546874,  0.18232156],
       [-1.14301691, -0.1249576 , -1.3412724 , ...,  1.38629436,
         0.87546874,  0.18232156],
       [-1.38535265,  0.33784833, -1.39813811, ...,  1.43508453,
         0.83290912,  0.18232156],
       ...,
       [ 0.79566902, -0.1249576 ,  0.81962435, ...,  1.38629436,
         1.82454929,  1.09861229],
       [ 0.4321654 ,  0.80065426,  0.93335575, ...,  1.48160454,
         1.85629799,  1.19392247],
       [ 0.06866179, -0.1249576 ,  0.76275864, ...,  1.38629436,
         1.80828877,  1.02961942]])

In [69]: data=steps.fit_transform(iris.data)

In [70]: data.shape  #最后有8个特征，标准化后4个，log后4个，共个
Out[70]: (150, 8)

In [71]: iris.data.shape
Out[71]: (150, 4)















参考：


http://scikit-learn.org/stable/modules/pipeline.html







                

        

        

    

  


    

      

        

            

              
                
                  wateryouyouyou
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
用sklearn mysql_使用sklearn 将 特征工程 集成到pipeline中

				
			

			

				

					weixin_39998906的博客
				

				

					02-07
					
					150
					
				

			

		

		

			
				
目录1 使用sklearn进行数据挖掘1.1 数据挖掘的步骤1.2 数据初貌1.3 关键技术2 并行处理2.1 整体并行处理2.2 部分并行处理3 流水线处理4 自动化调参5 持久化6 回顾7 总结8 参考资料1 使用sklearn进行数据挖掘1.1 数据挖掘的步骤数据挖掘通常包括数据采集，数据分析，特征工程，训练模型，模型评估等步骤。使用sklearn工具可以方便地进行特征工程和模型训练工作，在...

			
		

	



                

              
                



	

		

			

				
					
机器学习（一）——sklearn中的pipeline

				
			

			

				

					fivemillion的博客
				

				

					07-01
					
					2279
					
				

			

		

		

			
				
简单介绍sklrean中的pipeline模块的释义及用法

			
		

	



                


  
              

                


	

		

			

				
					
sklearn中pipeline机制

				
			

			

				

					weixin_41512727的博客
				

				

					08-01
					
					783
					
				

			

		

		

			
				

from sklearn import Pipeline

管道机制在机器学习算法中得以应用的根源在于，参数集在新数据集（比如测试集）上的重复使用。

管道机制实现了对全部步骤的流式化封装和管理（streaming workflows with pipelines）。

注意：管道机制更像是编程技巧的创新，而非算法的创新。

 

待写。。。

 

参考：https://blog.csdn.n...

			
		

	





	

		

			

				
					
Redis中pipeline(管道)详解

				
			

			

				

					2301_76166241的博客
				

				

					07-29
					
					2174
					
				

			

		

		

			
				
对于服务端来说，所需要的是能够处理一个客户端通过同一个TCP连接发来的多个命令，可以理解为，这里将多个命令切分，和处理单个命令一样，Redis就是这样处理的。管道是一种在Redis中提高命令批量执行效率的机制，通过将多个命令一次性发送到服务器并一次性接收响应，减少了网络通信的开销，提高了命令执行的效率。当使用Pipeline时，它允许多个命令的读通过一次read()操作，多个命令的应答使用一次write()操作，它允许客户端可以一次发送多条命令，而不等待上一条命令执行的结果。管道可以用于批量执行多个操作。

			
		

	



		

			
		



	

		

			

				
					
sklearn-pipeline管道（一）

				
			

			

				

					左手coding，右手cooking
				

				

					07-08
					
					326
					
				

			

		

		

			
				
#coding:utf-8
import numpy as np
from sklearn import linear_model, decomposition, datasets
from sklearn.pipeline import Pipeline
from sklearn.model_selection import GridSearchCV


digits = datasets.lo...

			
		

	





	

		

			

				
					
sklearn之pipeline：pipeline函数/make_pipeline函数的简介及其区别联系、使用技巧、案例应用之详细攻略

				
			

			

				

					近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
				

				

					08-28
					
					9951
					
				

			

		

		

			
				
​
sklearn之pipeline：pipeline函数/make_pipeline函数的简介及其区别联系、使用技巧、案例应用之详细攻略

目录

sklearn.pipeline函数简介






pipeline的案例应用







sklearn.pipeline函数简介
     转换器Transformers 通常与分类器、回归器或其他估计器相结合，构成一个复合估计器。最常见的工具是pipeline。pipeline通常与特征结合使用，特征结合将变压器的输出连接到一个复合特征空间

			
		

	





	

		

			

				
					
Scikit-Learn学习笔记——特征工程

				
			

			

				

					Little Garden
				

				

					08-20
					
					359
					
				

			

		

		

			
				
特征工程


  工程中的数据挖掘用到的数据很少拥有干净的特征矩阵——很多特征的取值是非数值的，这些特征不能直接被计算机直接用于计算。因此，机器学习实践中更重要的步骤之一是特征工程——找到与问题有关的任何信息，把它们转换成特征矩阵的数值。




分类特征


  一种常见的非数值特征是分类数据。例如，浏览房屋数据的时候，除了看到“房价”（price）和“面积”（square）之类的数值特征，还会...

			
		

	





	

		

			

				
					
Scikit-Learn学习笔记——模型验证与超参数网格搜索

				
			

			

				

					Little Garden
				

				

					08-20
					
					1490
					
				

			

		

		

			
				
超参数与模型验证


  模型验证就是在选择模型和超参数之后，通过对训练数据进行学习，对比模型对已知数据的预测值与实际值的差异。模型验证的正确方法是使用留出集评估模型性能，即先从训练模型中的数据中留出一部分，然后用这部分留出来的数据检验模型性能。
  
  但是，使用留出集使得模型失去了一部分训练机会，解决这个问题的方法是交叉验证,也就是做一组拟合，让数据的每个子集既是训练集，又是验证集。



...

			
		

	





	

		

			

				
					
Scikit-Learn学习笔记——SVM应用：人脸识别

				
			

			

				

					Little Garden
				

				

					08-21
					
					6784
					
				

			

		

		

			
				
SVM应用——人脸识别



#下载数据
from sklearn.datasets import fetch_lfw_people
faces = fetch_lfw_people(min_faces_per_person=60)
print(faces.target_names)
print(faces.images.shape)

#输出结果
['Ariel Sharon' 'Colin P...

			
		

	





	

		

			

				
					
数据挖掘笔记Ⅱ——数据清洗(房租预测)

				
			

			

				

					weixin_46152784的博客
				

				

					01-09
					
					682
					
				

			

		

		

			
				
缺失值分析及处理

缺失值出现的原因分析
采取合适的方式对缺失值进行填充

异常值分析及处理


根据测试集数据的分布处理训练集的数据分布


使用合适的方法找出异常值


对异常值进行处理


深度清洗

分析每一个communityName、city、region、plate的数据分布并对其进行数据清洗

0、调包加载数据
首先，我们要做的就是加载可能要用到的包。以及源数据的导入；
#codi...

			
		

	





	

		

			

				
					
Scikit-Learn学习笔记——线性回归（基函数回归、岭回归正则化、Lasso正则化）

				
			

			

				

					Little Garden
				

				

					08-20
					
					3964
					
				

			

		

		

			
				
线性回归


  如果说朴素贝叶斯是解决分类任务的好起点，那么线性回归模型就是解决回归任务的好起点。




简单的线性回归



#简单线性回归
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns;sns.set()

rng = np.random.Random...

			
		

	





	

		

			

				
					
孤立森林 python实现_使用python+sklearn实现使用并行森林评估像素重要性

				
			

			

				

					weixin_39520869的博客
				

				

					11-24
					
					212
					
				

			

		

		

			
				
本示例显示了使用由树构成的森林来评估像素在图像分类任务(人脸)中的重要性。下图中的像素越红，表示该像素越重要。下面的代码还说明了如何在多个作业中并行化进行预测计算。sphx_glr_plot_forest_importances_faces_001输出：FittingExtraTreesClassifieronfacesdatawith1cores...donein1....

			
		

	





	

		

			

				
					
pipeline python_Python 实现并发Pipeline

				
			

			

				

					weixin_28965739的博客
				

				

					01-28
					
					1919
					
				

			

		

		

			
				
最近实现复杂问句解析时，需要用到将问句转化成由一系列的小的动作组成的有向图结构。该结构在执行的过程中 会动态生成一个自顶向下执行的逻辑图。 这就用到了Pipeline 模式了。对于Pipeline 根据侧重点的不同，有两种实现方式用于加速多线程任务的pipeline用于加速多线程任务的 Pipeline 主要强调 任务的顺序执行， 转移之间不涉及过于复杂的逻辑。所以 每个pipe 通过自身调用 n...

			
		

	





	

		

			

				
					
释放计算潜力：SKlearn模型并行训练指南

				
			

			

				

					2401_85760095的博客
				

				

					07-08
					
					776
					
				

			

		

		

			
				
然而，通过一些技巧和工具，我们仍然可以在sklearn中实现模型的并行训练。本文详细介绍了使用sklearn进行模型并行训练的方法，并提供了实际的代码示例。随着数据量的不断增长和计算资源的日益丰富，掌握并行训练技能将成为数据科学家和机器学习工程师的重要竞争力。虽然sklearn本身并不直接支持并行训练，但通过Joblib、Dask和Spark等工具，我们可以实现sklearn模型的并行训练。Joblib是一个用于提供轻量级并行化的Python库，它可以用来并行化sklearn中的一些算法。

			
		

	





	

		

			

				
					
python_xgboost例01_sklearn_parallel并行

				
			

			

				

					u012338969的博客
				

				

					05-22
					
					234
					
				

			

		

		

			
				
%matplotlib inline

Demo for using xgboost with sklearn
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import fetch_california_housing
import xgboost as xgb
import multiprocessing

if __name__ == "__main__":
    print("Parallel Para

			
		

	





	

		

			

				
					
机器学习中sklearn的pipeline如何使用？

				
			

			

				

					qq_32506555的博客
				

				

					04-12
					
					3437
					
				

			

		

		

			
				
本文和大家分享的主要是机器学习中 sklearn中pipeline相关内容，一起来看看吧，希望对大家学习机器学习有所帮助。　　如下图所示，利用pipeline我们可以方便的减少代码量同时让机器学习的流程变得直观，例如我们需要做如下操作，容易看出，训练测试集重复了代码，　　vect = CountVectorizer()tfidf = TfidfTransformer()clf = SGDClass...

			
		

	





	

		

			

				
					
scikit-learn中的Pipeline

				
			

			

				

					weixin_50197893的博客
				

				

					07-22
					
					441
					
				

			

		

		

			
				
在机器学习项目中，对训练集进行各种数据预处理操作，比如：数据特征提取、标准化、主成分分析等，在测试集上还需重复使用这些参数，我们可以使用机器学习中的pipeline机制来避免重复的操作。

示例：

数据背景：城市租用自行车计划是在城市中部署若干个自助租车处。在这个由租车处组成的网络中使用者可自助租用、归还自行车。迄今为止，全世界已经有500多个自助自行车租用处。

目标：通过给予的历史数据（包括天气、时间、季节等特征）使用Pipeline构建回归模型预测特定条件 下的租车数目

加载数据


# 加载数据

			
		

	





	

		

			

				
					
sklearn中的Pipeline和make_pipeline

				
			

			

				

					qq_44846964的博客
				

				

					11-15
					
					600
					
				

			

		

		

			
				
1、简化代码2、结合网络搜索进行模型参数最优搜索。

			
		

	





	

		

			

				
					
sklearn Pipeline 函数用法

				
			

			

				

					qq_39758080的博客
				

				

					03-04
					
					2148
					
				

			

		

		

			
				
Sklearn Pipeline

			
		

	





	

		

			

				
					
from sklearn.pipeline import make_pipeline

					
最新发布

				
			

			

				

					09-16
				

			

		

		

			
				
`from sklearn.pipeline import make_pipeline` 是 scikit-learn 库中的一个功能，用于创建机器学习管道（Pipeline）。sklearn 的 Pipeline 是一种组织多个数据转换和模型训练步骤的方法，这些步骤按照一定的顺序组合在一起形成一个单一的对象。这个工具在数据预处理（例如特征缩放、编码）和模型训练过程中非常有用，因为它能够确保每个步骤都在同一个上下文中进行，同时也可以方便地调整或保存整个分析过程。

具体来说，`make_pipeline` 函数接受一系列 `transformers` 和 `estimator` 对象，其中 transformers 是用于数据转换的预处理步骤，而 estimator 是最终的模型。函数返回的是一个 Pipeline 实例，可以通过 `.fit()` 和 `.predict()` 方法对整个流水线进行训练和预测操作。

举个例子：

```python
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

# 创建一个包含标准化和逻辑回归的管道
pipe = make_pipeline(StandardScaler(), LogisticRegression())

# 使用训练数据拟合模型
pipe.fit(X_train, y_train)

# 预测新数据
predictions = pipe.predict(X_test)
```

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值