机器学习模型保存之joblib、pckle报错问题

最新推荐文章于 2024-08-12 16:39:42 发布
最新推荐文章于 2024-08-12 16:39:42 发布
阅读量4.9k 收藏 7
点赞数 2
分类专栏： python 文章标签： python 机器学习 pickle python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44388094/article/details/107324860
版权
在使用sklearn训练大规模机器学习模型后，尝试使用joblib和pickle进行保存和加载时遇到问题。joblib在加载大型模型（如34.7G的knn模型）时报错，而pickle则因大小限制（不超过4GB）无法保存大型模型。目前寻求解决方案。
摘要由CSDN通过智能技术生成

机器学习模型保存之joblib、pckle报错问题

遇到的问题

使用sklearn训练机器学习模型时，为了能够使得训练好的模型可以多次使用，我们一般都会将模型存储到本地，下一次需要用的时候直接加载就可以了，不用重新进行漫长的训练过程。
但最近在实际操作中，我们经常使用的joblib和pickle均报错，特此在这里进行记录，也希望能有人提出好的解决方法。

joblib

正常情况下，joblib保存模型非常方便，只需要两行代码：

from sklearn.externals import joblib
joblib.dump(clf,"trained_model.m")

clf就是我们已经训练好的机器学习模型，trained_model.m则是我们为模型起的名字，不添加其他路径的情况下，它会保存在和脚本文件相同的文件夹下面。
当我们需要加载模型时，只需要使用：


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  蒙塔基的小黄油饼干
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
joblib加载模型报错 ModuleNotFoundError: No module named ‘lib‘

				
			

			

				

					weixin_41888257的博客
				

				

					12-29
					
					6163
					
				

			

		

		

			
				
文件目录树如下：
som
-- train（保存模型）
	-- lib
		-- minisom.py
		
-- predict（加载模型）


报错信息：
Traceback (most recent call last):
  File "D:/SOM/self_organizing_maps/predict/test_som_predict.py", line 55, in <module>
    model = joblib.load(filename=file_path)
  Fi

			
		

	



                

              
                



	

		

			

				
					
python3导入joblib报错_atune-adm  analysis时模型导入出错【joblib.load(cpu_clf.m)】

				
			

			

				

					weixin_39895096的博客
				

				

					12-11
					
					1700
					
				

			

		

		

			
				
我们在对工具的analysis功能做测试时，发现系统空闲时会正常返回default分类但是cpu负载较高时，self.labelling(data)返回的初步分类向量为【1,0,0,0】但是在做二次分类确认时即运行到下面这段代码时resourcelimit = "cpu"scaler = joblib.load(cpu_scaler)data = scaler.transform(data)###...

			
		

	



                


  
              

                


	

		

			

				
					
joblib的使用

					
最新发布

				
			

			

				

					Billie使劲学的博客
				

				

					08-12
					
					419
					
				

			

		

		

			
				
是 Python 中joblib库的一部分，常用于将 Python 对象序列化并保存到文件中。相比于picklejoblib更适合处理大型数据，因为它在序列化过程中效率更高，特别是在存储包含大量 numpy 数组的数据时。

			
		

	





	

		

			

				
					
joblib加载模型报KeyError: 0错误

				
			

			

				

					ggbooo的博客
				

				

					08-07
					
					2270
					
				

			

		

		

			
				
通过joblib库加载模型，报错代码如下。

			
		

	



		

			
		



	

		

			

				
					
保存模型后无法训练_利用joblib存储和加载模型

				
			

			

				

					weixin_35823441的博客
				

				

					12-25
					
					499
					
				

			

		

		

			
				
在使用 from sklearn.externals import joblib 语句时会报错，这是因为在 scikit-learn 在 0.23 版本之后已经将 joblib 移除，需要直接安装 joblib，在anaconda的环境页面可以安装，也可以用cmd命令conda install joblib安装，用 import joblib 导入即可。当我们训练好一个model后，下次如果还想用...

			
		

	





	

		

			

				
					
09_Up and Running with TensorFlow_Anaconda3-4.2.0_No module named joblib_KeyError 0_Normal Equation

				
			

			

				

					Linli522362242的专栏
				

				

					05-22
					
					1046
					
				

			

		

		

			
				
TensorFlow is a powerful open source software library for numerical computation, particularly well
suited and fine-tuned for large-scale Machine Learning. Its basic principle is simple: you first define in
Python a graph of computations to perform (fo...

			
		

	





	

		

			

				
					
python joblib.dump_scikit-learn使用joblib.dump()持久化模型过程中的问题详解--python

				
			

			

				

					weixin_39609483的博客
				

				

					12-03
					
					2177
					
				

			

		

		

			
				
在机器学习过程中，一般用来训练模型的过程比较长，所以我们一般会将训练的模型进行保存(持久化)，然后进行评估，预测等等，这样便可以节省大量的时间。在模型持久化过程中，我们使用scikit-learn提供的joblib.dump()方法，但是在使用过程中会出现很多问题。如我们使用如下语句：joblib.dump(clf,'../../data/model/randomforest.pkl')此语句将产...

			
		

	





	

		

			

				
					
导入机器学习boston数据集报错问题解决

				
			

			

				

					06-24
				

			

		

		

			
				
导入机器学习boston数据集报错问题解决

			
		

	





	

		

			

				
					
Python 机器学习 模型保存和加载

				
			

			

				

					weixin_42098295的博客
				

				

					02-16
					
					1781
					
				

			

		

		

			
				
Python 机器学习中，模型保存和加载是两个非常重要的操作。模型保存可以将训练好的模型保存到文件，以便以后使用。模型加载可以将保存的文件加载到内存，以便进行预测或评估。最常用保存和加模型的库包括pickle和joblib，另外在使用特定的机器学习库，如scikit-learn、TensorFlow或PyTorch时，它们也提供了自己的保存和加载机制。

			
		

	





	

		

			

				
					
机器学习知识点全面总结

					
热门推荐

				
			

			

				

					专注大数据与人工智能技术分享，欢迎私信加群互相学习！
				

				

					04-12
					
					13万+
					
				

			

		

		

			
				
机器学习按照模型类型分为监督学习模型、无监督学习模型和概率模型三大类,文章对十大机器学习算法进行详细介绍并阐述机器学习其他概念问题，可作为机器学习初学者学习使用。

			
		

	





	

		

			

				
					
[Python从零到壹] 十二.机器学习之回归分析万字总结全网首发（线性回归、多项式回归、逻辑回归）

				
			

			

				

					杨秀璋的专栏
				

				

					07-03
					
					4万+
					
				

			

		

		

			
				
前一篇文章讲述了数据分析部分，主要普及网络数据分析的基本概念，讲述数据分析流程和相关技术，同时详细讲解Python提供的若干第三方数据分析库，包括Numpy、Pandas、Matplotlib、Sklearn等。本文介绍回归模型的原理知识，包括线性回归、多项式回归和逻辑回归，并详细介绍Python Sklearn机器学习库的LinearRegression和LogisticRegression算法及回归分析实例。进入基础文章，希望对您有所帮助。

			
		

	





	

		

			

				
					
No module named ‘date_utils‘

				
			

			

				

					wr200909009的博客
				

				

					12-27
					
					576
					
				

			

		

		

			
				
python date_utils  STL

			
		

	





	

		

			

				
					
from sklearn.externals import joblib以及dump存储模型，joblib.load()调用原模型

				
			

			

				

					weixin_42714175的博客
				

				

					02-22
					
					1万+
					
				

			

		

		

			
				
书scikit-learn机器学习-page51示例代码：
import matplotlib.pyplot as plt
from sklearn import datasets
digits=datasets.load_digits()
from sklearn.model_selection import train_test_split
Xtrain, Xtest, Ytrain, Yte...

			
		

	





	

		

			

				
					
机器学习算法------2.11 模型的保存和加载（joblib.dump()、joblib.load()）

				
			

			

				

					studyvcmfc的专栏
				

				

					05-25
					
					404
					
				

			

		

		

			
				
# 模型保存

joblib.dump(estimator, "./data/test.pkl")

# 模型加载

estimator = joblib.load("./data/test.pkl")



https://blog.csdn.net/qq_41855990/article/details/107424628


			
		

	





	

		

			

				
					
joblib可以dump整数函数

				
			

			

				

					ningyanggege的博客
				

				

					01-03
					
					2014
					
				

			

		

		

			
				
from sklearn.externals import joblib
                 
def joblib_fun(a=1,b=2):
    return a+b 
                 
obj = joblib_fun
joblib.dump(obj,"./bo.m")
xx = joblib.load("./bo.m")
print(xx(3,4)) ...

			
		

	





	

		

			

				
					
机器学习-训练模型的保存与恢复（sklearn）

				
			

			

				

					D.W 的专栏
				

				

					07-31
					
					6万+
					
				

			

		

		

			
				
在做模型训练的时候，尤其是在训练集上做交叉验证，通常想要将模型保存下来，然后放到独立的测试集上测试，下面介绍的是Python中训练模型的保存和再使用。scikit-learn已经有了模型持久化的操作，导入joblib即可from sklearn.externals import joblib模型保存>>> os.chdir("workspace/model_save")
>>> from sklea

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值