机器学习实战(五) 模型保存(持久化)

最新推荐文章于 2024-05-23 17:37:27 发布
最新推荐文章于 2024-05-23 17:37:27 发布
阅读量7.5k 收藏 9
点赞数 2
分类专栏： 机器学习应用 文章标签： 机器学习 sklearn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xierhacker/article/details/70495775
版权

一.工具

sklearn官方给出了两种保存模型的方式:3.4. Model persistence
其中一种是pickle的方式,还有一种就是joblib包的使用.这里仅仅介绍更加简单的方便的joblib方法.

载入joblib很简单,一句话就行了.

from sklearn.externals import joblib

接下来就给出常用的joblib几个常用的函数的详细介绍.更多的细节可以参考:Joblib: running Python functions as pipeline jobs

Ⅰ.存储模型(joblib.dump)

joblib.dump(value, filename, compress=0, protocol=None, cache_size=None)

作用:
持久化任意的python对象为一个文件.并且返回一个字符串列表,表示这些数据分别存放的位置.

参数:
value: 待存储的Python对象
filename: 字符串或者pathlib,表示待存储的完整路径(当然包括文件名),要是使用压缩的话,下面这些扩展

最低0.47元/天 解锁文章
谢小小XH
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
TF机器学习实战.zip
04-08
在“TF机器学习实战.zip”这个压缩包中，我们可以预见到一系列关于使用TensorFlow进行机器学习实践的资源。TensorFlow是Google开发的一个强大的开源库，主要用于数据流图的计算，广泛应用于深度学习、机器学习以及...
sklearn 中模型保存的两种方法
lu_linux的博客
05-26 9045
一、 sklearn中提供了高效的模型持久化模块joblib，将模型保存至硬盘。 from sklearn.externals import joblib #lr是一个LogisticRegression模型 joblib.dump(lr, 'lr.model') lr = joblib.load('lr.model') 二、pickle >>> from sklearn import svm >>> from sklearn import datasets &
机器学习算法------2.11 模型的保存和加载（joblib.dump()、joblib.load()）
程序猿-凡白的博客
07-18 7106
文章目录2.11 模型的保存和加载学习目标1 sklearn模型的保存和加载API2 线性回归的模型保存加载案例3 小结 2.11 模型的保存和加载 学习目标 知道sklearn中模型的保存和加载 1 sklearn模型的保存和加载API from sklearn.externals import joblib 保存：joblib.dump(estimator, ‘test.pkl’) 加载：estimator = joblib.load(‘test.pkl’) 2 线性回归的模型保存加载案
python | joblib，一个强大的 Python 库！
最新发布
csdn_xmj的博客
05-23 978
在数据科学和机器学习的实践中，效率和性能至关重要。Python的joblib库提供了一个简单的解决方案，用于对重复计算进行缓存，以及高效地保存和加载大型数据，特别适用于有大量重复计算且计算成本高昂的任务。这篇文章将详细介绍joblib库的安装、特性、基础及高级功能，并通过实际应用场景展示其实用性。
【Sklearn】3种模型保存的文件格式及调用方法
xiangxiang613的专栏
02-12 5078
Sklearn保存和调用模型的三种方式 方式一：保存为python支持的pickle格式 import pickle from sklearn.svm import SVC from sklearn import datasets # 定义分类器 svm = SVC() # 加载iris数据集 iris = datasets.load_iris() # 读取特征 X = iris.data # 读取分类标签 y = iris.target # 训练模型 svm.fit(X, y) # 保存成pyth
sklearn pipeline使用，以及保存pmml
liaozj的博客
09-28 2455
import pandas as pd import numpy as np from sklearn.preprocessing import OneHotEncoder,StandardScaler from sklearn_pandas import DataFrameMapper from sklearn.ensemble import GradientBoostingClassifier from sklearn2pmml.pipeline import PMMLPipeline from s.
joblib----模型固化
goodxin_ie的博客
12-17 2891
joblib提供了三个与对象序列化和模型固化相关的函数hash,dump,load。joblib.hash主要是为了提供一个numpy对象的hash方法，joblib.dump并joblib.load替代了pickle，使其可以在包含大数据（尤其是大型numpy数组）的任意Python对象上高效工作。 hash joblib.hash（obj，hash_name ='md5'，coerce_mmap = False ） 参数： hash_name：'md5'或'sha1' 使用哈希算.
AI人工智能技术 Python TensorFlow机器学习实战教程 第3章 Tensorflow进阶 共11页.pptx
04-30
模型的存储和加载对于模型的持久化和继续训练至关重要。`tf.train.Saver` 类是 TensorFlow 提供的工具，用于保存和恢复模型的状态，包括变量值、权重和偏置等。模型存储会产生多个文件，包括索引文件和检查点文件。...
机器学习十大算法编程-基于OpenCV实现
01-04
7. **模型保存与加载**：训练好的模型可以通过OpenCV的`cv::ml::save()`和`cv::ml::load()`函数进行持久化存储和加载，以便在不同的程序或环境中复用。 8. **并行计算优化**：OpenCV支持多线程和OpenMP，这使得在...
深度学习与PyTorch入门实战教程-PyTorch进阶教程.rar
04-07
7. **模型保存与加载**：PyTorch提供了`torch.save()`和`torch.load()`方法，用于保存和加载模型的参数，便于模型的持久化和复用。 8. **分布式训练**：对于大规模数据和复杂模型，可以利用PyTorch的分布式训练功能...
Python机器学习及实践.zip
04-08
在Python机器学习实践中，还会涉及模型解释性、模型持久化、并行计算和分布式学习等高级主题。例如，使用LIME或SHAP解释模型预测结果，使用joblib或pickle保存模型，利用multiprocessing或Dask进行大规模数据处理。 ...
mmappickle:Python 3库将内存可映射对象存储到与pickle兼容的文件中
05-12
Memmap泡菜 这个Python 3模块可以将大型结构存储在python泡菜中，从而可以将数组进行内存映射，而不是复制到内存中。 该模块已获得LGPL3许可的许可。 当前，该容器必须是字典（ mmappickle.dict ），其键是小于256个字节的字符串。 它支持任何值，但是只能对numpy数组和numpy掩码数组进行内存映射。 它还支持并发访问（即，您可以传递mmappickle.dict作为使用multiprocessing Python模块调用的参数）。 文献资料 可从获得文档。 引文 Fasnacht，（2018年）。 mmappickle：Python 3模块，以pickle格式存储内存映射的numpy数组。 开源软件杂志，3（26），651， 贡献 请在github上发布问题并拉取请求。 另外，您也可以通过电子邮件发送补丁。 以下工具用于确保良好的代码质量：
机器学习-Python中训练模型的保存和再使用
sherri_du的博客
08-13 1万+
在做模型训练的时候，尤其是在训练集上做交叉验证，通常想要将模型保存下来，然后放到独立的测试集上测试，下面介绍的是python中训练模型的保存和再使用。 scikit-learn已经有了模型持久化的操作，导入joblib即可 from sklearn.externals import joblib 模型保存 >>> os.chdir("workspace/model_save")>>> f
sklearn中的Pipeline
weixin_30790841的博客
07-18 145
　　在将sklearn中的模型持久化时，使用sklearn.pipeline.Pipeline(steps,memory=None)将各个步骤串联起来可以很方便地保存模型。 　　例如，首先对数据进行了PCA降维，然后使用logistic regression进行分类，如果不使用pipeline，那么我们将分别保存两部分内容，一部分是PCA模型，一部分是logistic regression模型...
sklearn 中的 Pipeline 机制
热门推荐
01-15 5万+
from sklearn.pipeline import Pipeline管道机制在机器学习算法中得以应用的根源在于，参数集在新数据集（比如测试集）上的重复使用。管道机制实现了对每一个步骤的流式化封装和管理（streaming workflows with pipelines）。注意：管道机制更像是编程思想的创新，而非算法的创新。 接下来我们以一个具体的例子来演示sklearn库中强大的Pipelin
机器学习—保存模型、加载模型—Joblib
柳成荫
08-08 3万+
Joblib描述 Joblib是一组用于在Python中提供轻量级流水线的工具。 特点： ·透明的磁盘缓存功能和懒惰的重新评估（memoize模式） ·简单的并行计算 Joblib可以将模型保存到磁盘并可在必要时重新运行： 代码实现 #加载模块 from sklearn.datasets import load_iris import joblib from sklearn.linear_mode...
scikit-learn使用joblib持久化模型过程中的问题详解
mach_learn的专栏
10-24 1万+
在机器学习过程中，一般用来训练m
from sklearn.externals import joblib以及dump存储模型，joblib.load()调用原模型
weixin_42714175的博客
02-22 1万+
书scikit-learn机器学习-page51示例代码： import matplotlib.pyplot as plt from sklearn import datasets digits=datasets.load_digits() from sklearn.model_selection import train_test_split Xtrain, Xtest, Ytrain, Yte...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值