Python多进程的一个坑，子进程直接跳过函数不运行

于 2023-09-01 15:18:39 发布
阅读量175 收藏
点赞数
分类专栏： python 文章标签： numpy python 机器学习 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Maoziii/article/details/132624724
版权

Python多进程的一个坑，子进程直接跳过函数不运行。

使用进程池创建多进程实现某些功能的时候，子进程如果运行有错误会直接跳过而不会报错，这个时候找问题会比较困难。

如果发生子进程直接跳过函数这种问题一般都是代码有问题，会报错。

我的多进程程序在windows上可以跑，在linux服务器上确跑不起来，这个问题困扰我好久，最后发现是numpy包的版本问题，而不用多线程这种问题是会直接报错的，因为子进程不报错所以一直没有发现，如果大家有相同问题可以先不用多进程跑一下代码确认版本什么的没有问题再进行多进程测试~~

Why_so?
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python多进程子进程不运行问题--未解决
danssion的专栏
08-18 3949
在升级程序到 python3.9 后，异步非阻塞的子进程起不来了，实际代码在python3.6 版是可以运行的 ： 程序逻辑及相关使用方式大概是这样的 def job(x): return x * x if name == “main”: pool multiprocessing.Pool() res = [pool.apply_async(target=job, (i,)) for i in range(3)] print [r.get() for r in res
python跳过错误_为什么我的python函数被跳过？
weixin_34462581的博客
01-30 675
我有一个小脚本试图执行一个外部命令。但是由于某些原因，我用来执行命令的函数被完全跳过了！似乎没有出现错误，只是无法执行。我在里面有一些调试print语句来验证函数是否被输入，但是它们从不打印。我在它外面有一个print语句来验证脚本没有死。那么什么给予？在from xml.etree import ElementTree as etimport subprocesspomFileLocation ...
python无缘无故不执行/跳过某个函数，无报错无警告
呆萌的代Ma
07-14 3547
在执行函数一个函数的时候无报错无警告，但就是不执行这个函数，下面是解决方案： 可能在函数中加入了 yield 关键字 ！！！ 如下函数就无法执行： def get_xx(): a = "test" print(a) yield a b = get_xx() 解决方案： 如果调试，会发现 b 为generator类型，需要将yield改为return ...
python多进程子进程不运行问题
weixin_43913603的博客
11-12 7438
precess使用进程池队列管理问题 背景： 在进行视频取帧的过程中，为了加速，用process多进程同时去做，将取到的帧放到队列中，之后会同时有另外的进程同时进行处理。 但是在实际的操作中发现，直接将队列放到参数的位置，所放到进程池中的子线程是不会运行的。 于是上网查找了一些资料，发现要用Manager来管理multiprocessing.Queue,这样线程池中的子线程才会运行。 代码如下： 无法运行的代码： def x(q): print('hello,world') q = multipr
python并发执行函数_为什么多进程并发直接结束，函数未执行？
weixin_39805355的博客
02-20 180
该楼层疑似违规已被系统折叠隐藏此楼查看此楼import osfrom win32com import clientimport multiprocessingimport pythoncomimport time#excel文件遍历def visitDir(path,filepaths):for root,dirs,files in os.walk(path):for filepath in f...
Python multiprocessing无法运行结果排查
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本
11-24 2090
.
Python使用多进程运行含有任意个参数的函数
09-16
主要介绍了Python使用多进程运行含有任意个参数的函数，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python实现在每个独立进程中运行一个函数的方法
12-24
本文实例讲述了python实现在每个独立进程中运行一个函数的方法。分享给大家供大家参考。具体分析如下： 这个简单的函数可以同于在单独的进程中运行另外一个函数，这对于释放内存资源非常有用 #!/usr/bin/env python...
python多进程 主进程和子进程间共享和不共享全局变量实例
12-20
Python 多进程默认不能共享全局变量 主进程与子进程是并发执行的，进程之间默认是不能共享全局变量的(子进程不能改变主进程中全局变量的值)。 如果要共享全局变量需要用（multiprocessing.Value(“d”,10.0)，数值）...
Python进程池apply_async的callback函数不执行的解决方案
qq_45926353的博客
10-14 3237
最近在用multiprocessing.Pool的apply_async方法做多进程，在写示例的时候发现callback居然没有执行，遂记录原因如下。
python 多进程 调用模块内函数_Python多进程之multiprocessing模块和进程池的实现
weixin_39844481的博客
11-24 139
1、利用multiprocessing可以在主进程中创建子进程，提升效率，下面是multiprocessing创建进程的简单例子，和多线程的使用非常相似'''代码是由主进程里面的主线程从上到下执行的,我们在主线程里面又创建了两个子进程，子进程里面也是子线程在干活，这个子进程在主进程里面'''import multiprocessingimport timedef f0(a1):time.sleep...
python 多进程 调用模块内函数_Python多进程:有例子的教程
weixin_39886929的博客
11-25 261
原标题：Python多进程:有例子的教程 Python部落组织翻译，禁止转载，欢迎转发摘要：本文档是一篇介绍、引导性的文章，介绍了如何在Python中怎样使用多个不同的技术，例如，XML-RPC, IPython parallel processing, and Erlang+Erlport，运行多进程、并行处理以及分布式程序。1 引言--一些选择和备选方法本文档针对在Python中实现多进程的几...
用python进行多进程编程时，只有主进程可以运行，子进程貌似没有运行是什么原因？
热门推荐
chenpe32cp的博客
03-22 1万+
找了半天，原来是这个原因！这是因为multiprocessing模块在交互模式是不支持的，在 cmd 里头输入 python xxx.py 来运行起来，你就可以看到子进程的执行了。
详解高性能服务框架 Nginx
Java烂猪皮
09-29 485
走过路过不要错过点击蓝字关注我们一：Nginx 模块化设计高度模块化的设计是 Nginx 的架构基础。Nginx 服务器被分解为多个模块，每个模块就是一个功能模块，只负责自身的功能，模块...
python sleep占用cpu吗_python 多进程，实际上都没有运行，sleep
weixin_39658759的博客
12-13 1136
思考并行运算的代码块中，是计算密集型的。因为计算的时间复杂度比较高，跑每一个例子会耗费几天的时间。因此不存在所谓活少人多的问题。1.是否是进程优先级的问题答案为否，因为个进程优先级一致，而每个进程所需的内存量和计算量基本一致，所需运行时间也接近的。2.是否是代码层面的问题答案为否，因为可以看到已经有台机器可以正常的按照意图来跑。3.是否是机器的问题答案有可能，那究竟是机器的什么问题呢？在一台21核...
python 多进程 调用模块内函数_multiprocessing 多进程模块-python
weixin_39566578的博客
11-25 435
之前使用工具是jupyter导致执行效果和网络教程不一致,使用系统的python就可以达到效果multiprocessing 是 Python 的标准模块，它既可以用来编写多进程，也可以用来编写多线程。如果是多线程的话，用 multiprocessing.dummy 即可，用法与 multiprocessing 基本相同.基础利用 multiprocessing.Process 对象可以创建一个进...
python 多进程同步运行多个函数
一千零一夜的博客
11-12 6532
场景：一个进程控制吃饭函数，另一个进程控制睡觉函数，同步进行。 结论，运行时间：不用进程 > 函数形式进程 == 类形式进程 目录 1.不用进程 2.函数形式进程multiprocessing.Process() 3.类形式进程multiprocessing.Process类 1.不用进程 用时：6s import time import multiprocessing def eat(p_name): for i in range(3): print..
python进程池(子进程)函数没有执行
荒-于嬉的博客
04-03 3081
文章目录1. 问题描述问题排查经过关于此问题的两个可能原因 内容较长 1. 问题描述 某日,写了一段爬虫代码(如下,爬取糗百图片代码示例),发现一个异常的问题,就是执行代码时,代码会以极快的速度执行完成,但是任何东西都没有爬取下来,经过问题排查,确认为下载方法downloadEngin内没有执行,我特意在for循环向线程池提交任务处添加了print,执行代码后会print所有提交信息,但是方法downloadEngin里面的print一条没有输出. from multiprocessing import P
python 多个进程调用一个函数 怎么不冲突
最新发布
06-09
当多个进程同时调用一个函数时，可能会出现多个进程同时对共享资源进行操作，导致数据不一致或者出现一些意料之外的结果。这是因为进程之间是独立的，它们拥有自己的内存空间。因此，在多进程编程中需要特别注意共享...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Why_so?

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值