sklearn库中GridSearchCV方法打包为exe方法后报错：joblib.externals.loky.process_executor.TerminatedWorkerError

于 2024-05-27 16:29:24 发布
阅读量220 收藏 2
点赞数 3
文章标签： sklearn 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53195427/article/details/139240816
版权

sklearn库中GridSearchCV方法打包为exe方法后报错：joblib.externals.loky.process_executor.TerminatedWorkerError

将sklearn库中GridSearchCV方法，使用pyinstaller打包为exe方法后报错：joblib.externals.loky.process_executor.TerminatedWorkerError: A worker process managed by the executor was unexpectedly terminated. This could be caused by a segmentation fault while calling the function or by an excessive memory usage causing the Operating System to kill the worker.

查询了诸多方法，可能是系统线程和进程的一些区别导致的问题。
在这里插入图片描述
最后在github上找到答案，主要是joblib库的一些bug
https://github.com/joblib/joblib/issues/1002
在这里插入图片描述
简单来说，在训练代码前加入代码：

    with parallel_backend('multiprocessing'):
        grid_search.fit(X_train, y_train)

即可解决打包的问题

明·煜
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
sklearn.externals.joblib.externals.loky.process_executor.BrokenProcessPool: A task has 未能取消序列化
xiaohutong1991的专栏
08-06 1万+
背景 在做硕士毕业设计的时候，用到随机森林这个模型，在写完代码的时候，跑的时候，老是出现sklearn.externals.joblib.externals.loky.process_executor.BrokenProcessPool: A task has failed to un-serialize. Please ensure that the arguments of the function are all picklable.翻译为中文是说：如果一个任务未能取消序列化，请确保函数的参数都是可
python报错：joblib.externals.loky.process_executor.【完美解决】
刘文凯的博客
07-25 7779
joblib.externals.loky.process_executor.TerminatedWorkerError: A worker process managed by the executor was unexpectedly terminated. This could be caused by a segmentation fault while calling the function or by an excessive memory usage causing the Operatin
解决python toad包报错joblib.externals.loky.process_executor.TerminatedWorkerError
呆萌的代Ma
12-14 3783
当运行官方的toad.quality()时，无法得到结果，并抛出报错 解决方法 首先检查toad版本：我的是toad == 0.0.64，python3.6版本 只需更换python版本为3.8，然后重新安装toad即可：pip install toad 问题解析 toad=0.1.0时不会出问题，但是python3.6无法更新到0.1.0，python3.8可以(python3.7未尝试) toad github地址：https://github.com/amphibian-dev/toad toad
解决用pyLDAvis做可视化的时候报错:TerminatedWorkerError: A worker process managed by the executor was...
m0_65609016的博客
10-11 2177
之前一直都是在jupyter上面运行的，今天换到pycharm上运行，报错更加清晰joblib.externals.loky.process_executor.TerminatedWorkerError，去网上查了一下是因为joblib包版本过高（我的joblib版本是1.3.2）,降低一下版本就行了。
python学习——总结sklearn中的几个参数优化器
m0_37876745的博客
10-26 1639
python学习——总结sklearn中的参数优化器
OpenSees小问题及解决方法
最新发布
m0_70567287的博客
05-02 230
2.在求解模型特征值时，求出特征值为负，但是模型没问题，看一下在求解特征值之前是不是进行了出重力分析外的计算，如pushover分析，如果进行了其他分析，会对模型造成干扰，所以可以在进行其他分析前求出rayleigh系数，然后在进行地震分析时，将系数加上。4.openseespy中，recorder（）里面，文件路径要为字符串性，在“ ”中，要不然出不来东西。1.如果模型不收敛，但一直没查出原因，这时注意，是否模型单位没统一，最好各种参数都带上单位，然后再进行建模。
webpack打包node.js后端项目的方法
11-26
本文介绍了webpack打包node.js后端项目的方法，分享给大家，具体如下： 安装依赖 复制代码 代码如下: npm install –save-dev webpack babel-loader babel-preset-es2015 babel-preset-stage-0 webpack配置 ...
vue-cli2.x项目优化之引入本地静态库文件的方法
08-27
vue-cli2.x项目优化之引入本地静态库文件的方法 本文主要介绍了 Vue-cli 2.x 项目优化方法之一，即引入本地静态库文件的方法。该方法可以有效地优化项目的编译速度和文件大小。 首先，需要将 node_modules 下相应...
详解vue.js下引入百度地图jsApi的两种方法
12-11
在Vue.js应用中引入百度地图JS API，通常有两种方法，这两种方法主要针对不同的开发环境和需求。下面将详细讲解这两种方法。 ### 1. 直接引入`<script>`标签 这种方法适用于传统的HTML页面或者非单文件组件(SFC)的...
visual c++出错：unresolved externals 执行 link.exe 时出错.
01-20
在使用Visual C++进行编程时，遇到"unresolved externals"错误通常是链接阶段的问题，意味着编译器在链接可执行文件时找不到某些外部符号（函数或变量）的定义。这通常涉及以下几个方面： 1. **缺失库文件**：错误...
hot-node-example:node.js 进程中的 HMR 示例
06-04
npm installnpm run hot# in a new terminalnpm start在没有 HMR 的情况下运行应用程序 npm run buildnpm start真实应用在实际应用中，您也应该这样做： 将任何普通的 node.js 模块放在externals配置中为了性能并非...
【已解决】使用Jupyter Notebook时出现“TerminatedWorkerError”
weixin_41698730的博客
05-02 5358
问题描述： 在使用Jupyter Notebook调用pandas_profiling.ProfileReport(df)时，报错“A worker process managed by the executor was unexpectedly terminated. This could be caused by a segmentation fault while calling the function or by an excessive memory usage causing the Ope
机器学习工程师 — Udacity 为CharityML寻找捐献者
USTB_YYX的博客
05-04 1176
机器学习纳米学位 监督学习 项目2: 为CharityML寻找捐献者 欢迎来到机器学习工程师纳米学位的第二个项目！在此文件中，有些示例代码已经提供给你，但你还需要实现更多的功能让项目成功运行。除非有明确要求，你无须修改任何已给出的代码。以**‘练习’**开始的标题表示接下来的代码部分中有你必须要实现的功能。每一部分都会有详细的指导，需要实现的部分也会在注释中以’TODO’标出。请仔细阅读所有的提示...
python 打开本地程序发生异常_python应用程序在本地工作，但在d中出现错误
weixin_39722759的博客
02-19 654
我正在本地运行我的应用程序本地主机：80和我得到了正确的结果。然后我构建了一个docker镜像并运行它，它给出了以下错误(在附加模式下运行docker)：我用的是Windows10。在Traceback (most recent call last):File "/usr/local/lib/python3.6/site-packages/flask/app.py", line 2292, in ...
joblib.externals.loky.process_executor.BrokenProcessPool: A task has failed to un-serialize. Please
热门推荐
洪源的博客
12-23 1万+
背景 使用Rasa框架训练模型 系统：windows 解决 使用1个线程进行训练 rasa train --num-threads 1 为什么 bug日志显示与多线程和多核相关，会报一些线程找不到，句柄找不到错误 bug日志显示读取过C盘用户文件夹下的相关文件，可能与users权限，或者windows系统相关 ...
手写数字识别问题
thinklittle的博客
08-16 2797
数据概要 数据来源于kaggle 其中，训练集是 785×42000785\times 42000785×42000 ，预测集是 784×28000784\times 28000784×28000 实际每个数字是 28×2828\times 2828×28 ，由0和1组成的图形所表示 导入必要的包 import numpy as np import pandas as pd import mat...
joblib.externals.loky.process_executor.brokenprocesspool: 一个任务无法反序列化。请确保函数的所有参数都是可序列化的。
05-05
这个错误通常发生在使用`joblib`模块时，其中一个任务无法被反序列化。这可能是由于您的函数参数中包含了不可序列化的对象，例如函数本身，文件句柄或网络套接字。 为了解决这个问题，需要确保您的函数参数是可序列化的。您可以尝试对不可序列化的参数进行拷贝（例如使用`copy.deepcopy()`函数），或者将其转换为可序列化的形式，例如字符串或字节流。 如果您的函数本身是不可序列化的对象，则可以考虑将其定义为全局函数或使用`dill`模块中的`dill.dumps()`和`dill.loads()`函数进行序列化和反序列化。 最后，如果您正在使用`joblib.Parallel()`函数并且仍然遇到这个错误，您可以尝试将`backend`参数设置为`"multiprocessing"`或`"threading"`，以便使用不同的并行后端来解决这个问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值