sklearn基于pickle / joblib 的模型保存及加载

sklearn(scikit-learn)模型持久化有两种方式:

  • Python的内置模块pickle
  • scikit-learn内部的joblib
1. pickle 模型保存及加载

模型定义及训练:

from sklearn import svm
from sklearn import datasets
model_xgb = svm.SVC()
X, y= datasets.load_iris(return_X_y=True)
model_xgb.fit(X, y)

基于 pickle 实现模型保存及加载:

import pickle 

#1.保存成Python支持的文件格式Pickle
#在当前目录下可以看到new_app_model_v1.pickle
with open('new_app_model_v1.pickle','wb') as fw:
	pickle.dump(model_xgb,fw)
#加载svm.pickle
with open('new_app_model_v1.pickle','rb') as fr:
	new_app_model_v1 = pickle.load(fr)

print (new_app_model_v1.predict_proba(X_test[0:1].values))
2. joblib 模型保存及加载

在大量数据的情况下,最好使用scikit-learn的的joblib代替python的pickle(dump&load),这在内部装有大型numpy数组的对象上效率更高。
总结起来,joblib更适合大数据量的模型,不过joblib只能往硬盘存储,不能往字符串存储。

from sklearn.externals import joblib

# 保存模型
joblib.dump(model_xgb, 'new_app_model_v1.pkl')
print("Model dumped!")

# 把训练集中的列名保存为pkl
model_columns = list(X_train.columns)
joblib.dump(model_columns, 'new_app_model_v1_columns.pkl')
print("Models columns dumped!")

new_app_model_v1 = joblib.load('new_app_model_v1.pkl')  # Load "model.pkl"
print('Model loaded')
new_app_model_v1_columns = joblib.load('new_app_model_v1_columns.pkl')  
# Load "model_columns.pkl"

print('Model columns loaded')
print (new_app_model_v1.predict_proba(X_test[0:1].values))
  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 这个错误提示是因为在您的代码中使用了sklearn.externals.joblib模块,但是您的环境中没有安装该模块或者该模块的版本不兼容。解决方法是安装或更新sklearn模块,或者使用其他替代模块。 ### 回答2: no module named 'sklearn.externals.joblib'是一个常见的错误消息,通常发生在使用scikit-learn(一种用于机器学习的Python库)时。这个错误通常是由于sklearn库的版本不兼容或未正确安装所导致的。 首先,可以尝试更新sklearn库的版本。可以通过在终端或命令提示符中运行以下命令来更新sklearn库: pip install -U scikit-learn 如果更新库后仍然出现此错误,可能是由于其他依赖库未正确配置或错误安装所致。可以尝试重新安装scikit-learn和其依赖库。首先,可以卸载scikit-learn: pip uninstall scikit-learn 然后重新安装scikit-learn及其依赖库: pip install scikit-learn 如果问题仍然存在,可能需要检查Python的环境变量设置,确保库的路径正确配置。可以尝试通过运行以下命令来验证是否存在sklearn.externals.joblib模块: python -c "import sklearn.externals.joblib" 如果没有任何输出或报错消息,可能需要检查是否正确安装了scikit-learn库。 另一种解决方法是将sklearn.externals.joblib模块直接导入到代码中,而不是依赖于scikit-learn库。可以尝试将以下代码行添加到Python脚本中: from sklearn.externals import joblib 这样可以绕过scikit-learn库中的joblib模块,直接导入sklearn.externals.joblib模块。但是请注意,这种方法可能会在使用其他功能时引发其他错误,因此最好是通过正确配置和安装库来解决问题。 总结来说,no module named 'sklearn.externals.joblib'错误通常是由于scikit-learn库的版本不兼容或未正确安装所致。可以尝试更新库的版本、重新安装库、检查环境变量设置或直接导入sklearn.externals.joblib模块来解决问题。 ### 回答3: no module named 'sklearn.externals.joblib'是一个常见的错误信息。它通常发生在使用Scikit-learn(sklearn)库的时候,因为该库的最新版本已经将`sklearn.externals.joblib`模块移除,而该模块在旧版本中是存在的。 解决这个错误的方法是更新Scikit-learn库,确保使用最新版本的库。可以通过运行以下命令来更新库: pip install --upgrade scikit-learn 如果已经安装了最新版本的Scikit-learn库但仍然出现该错误,那么可能是因为您使用的是旧版本的代码或其他库依赖于旧版本的`sklearn.externals.joblib`模块。 在新版本的Scikit-learn中,`sklearn.externals.joblib`模块已经被移除并集成到了`sklearn`模块中。因此,您可以直接使用`import sklearn`并调用相关功能。一些常用的替代方法是使用`joblib`库来实现pickle功能,或者使用新版本的Scikit-learn中提供的替代函数来加载保存模型。 总之,解决'no module named 'sklearn.externals.joblib''错误的方法是更新Scikit-learn库并调整代码以适应最新版本的库。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值