Python多进程multiprocessing在Windows下运行不了的问题

最新推荐文章于 2024-05-25 02:30:00 发布
最新推荐文章于 2024-05-25 02:30:00 发布
阅读量1.9w 收藏 36
点赞数 15
分类专栏： Python3 文章标签： multiprocessing运行出错 multiprocessing运行不出结果 multiprocessing一直打开exe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mengyangcust/article/details/84993677
版权

Python多进程multiprocessing在Windows的Dos下或者Idle运行不了会出错，

打成exe包双击后会一直打开exe，导致内存占满，在linux下确没有问题，

在Pycharm下运行也不会有问题，经过各种查阅资料，终于解决了这个Bug

只要添加在main入口下添加 multiprocessing.freeze_support() 就可以了

if __name__ == "__main__":
    multiprocessing.freeze_support()

很多人用multiprocessing应该都会被坑，而且觉得很莫名其妙！

 

2020.03.05追加

因为还有很多人出现问题，这里在说明一下，multiprocessing.Process(）也要在main下面运行，

感谢小伙伴在评论区帮忙给出答案！

 

看完本文是不是有种柳暗花明的感觉，那就点个赞关注一下呗！

 

如果你运行的时候还是发现不行，那么请在下方评论留言，将第一时间为你解决！

幽梦萧瑟
关注
  • 15
    点赞
  • 踩
  • 36
    收藏
    觉得还不错? 一键收藏
  • 30
    评论
专栏目录
Python多进程在Windows操作系统下的坑
qq_42753967的博客
08-06 7081
笔者是一个python初学者,因为Windows有图形化界面写代码方便,基本代码都是在Windows下写的,这就导致了出现很多问题,比如使用创建多进程来实现服务器并发会出现一些很难想象到的错误,如: OSError: [WinError 10048] 通常每个套接字地址(协议/网络地址/端口)只允许使用一次。 错误代码如下: import socket import multiprocess...
python中multiprocessing模块在windows下报错的问题
z201323041121的博客
11-15 1669
【问题描述】 下面的代码，在Linux中可以正常运行，在windows中却报错。 import multiprocessing def fun(): # 子进程函数 print("子进程执行") p = multiprocessing .Process(target=fun) # 创建进程对象 p.start() # 启动进程 p.join() # 回收进程 【解决方法】 根据提示添加代码： if __name__ == '__main__': multiprocess
Python多进程multiprocessing用法实例分析
09-21
主要介绍了Python多进程multiprocessing用法,结合实例形式分析了Python多线程的概念以及进程的创建、守护进程、终止、退出进程、进程间消息传递等相关操作技巧,需要的朋友可以参考下
Python使用multiprocessing实现多进程
最新发布
若不知道要驶向哪个码头，那么任何风都不会是顺风。
05-25 1794
大家好，当我们工作中涉及到处理大量数据、并行计算或并发任务时，Python的multiprocessing模块是一个强大而实用的工具。通过它，我们可以轻松地利用多核处理器的优势，将任务分配给多个进程并同时执行，从而提高程序的性能和效率。在本文中，我们将探索如何使用multiprocessing模块实现多进程编程。将介绍进程池的概念和用法，以及如何使用它来管理和调度多个进程。我们还将讨论并发任务的处理、进程间通信和结果获取等关键问题，希望能给大家的工作带来一些帮助。
多进程（多核运算）Multiprocessing
lockhou的博客
02-26 4881
多核运算 目录 1.什么是 Multiprocessing 2.添加进程 Process 3.存储进程输出 Queue 4.效率对比 threading & multiprocessing 5.进程池 Pool 6.共享内存 shared memory 7.进程锁 Lock 1.什么是 Multiprocessing 将任务分配给多个核进行计算，单独的核有自己的运算空间，运算能力，真正的做到各个部分的任务被同时执行，实现并行操作而不是多线程的伪并行，让你的多核计算机发挥真正潜力 多进程 Multip
Python：multiprocessing示例代码在Windows环境无法运行的解决方案
码农1479的博客
02-26 3537
记录在Windows环境下使用multiprocessing模块遇到的问题。
multiprocessing.Process没启动多个进程，添加多进程没有效果
Alan的博客
05-03 784
去掉 target=func() 语句中func()后面的()，直接用 target=func: p1=multiprocessing.Process(target=oleaginousness_tocsv**()**) 改为 p1=multiprocessing.Process(target=oleaginousness_tocsv)
python中的multiprocessing(windows)
jiangwei741的博客
01-04 1598
multiprocessing是一个多进程模型，在linux环境下和windows环境下既可以使用，是一个跨平台多进程模块，但是背后运行机制会稍有不同，本文重点放在windows环境下的使用。 必须在顶层脚本文件中使用 使用multiprocessing中的多进程必须在顶层脚本文件中使用，且需要使用if name==‘main’:语句,否则将会导致循环调用抛出异常。 # 本文件名为multi_pr...
python基础之Windows下多进程的实现
fengzhilaoling的博客
08-21 2184
python中的多进程 python中的多进程是通过fork来实现的 Unix/Linux操作系统提供了一个fork()系统调用，它非常特殊。普通的函数调用，调用一次，返回一次，但是fork()调用一次，返回两次，因为操作系统自动把当前进程（称为父进程）复制了一份（称为子进程），然后，分别在父进程和子进程内返回。 子进程永远返回0，而父进程返回子进程的ID。这样做的理由是，一个父进程可以fork出很多子进程，所以，父进程要记下每个子进程的ID，而子进程只需要调用getppid()就可以拿到父进程的ID.
winpython是个坑_Python: Windows下用multiprocessing的深坑
weixin_39606799的博客
12-04 408
今天在测试多进程时, 发现了一个问题测试代码:#coding: utf8from multiprocessing import Processimport osprint('Global_print', os.getpid())def run_proc(name):print('Run child process %s (%s)…' % (name, os.getpid()))if __name_...
Python多进程multiprocessing、进程池用法实例分析
09-17
### 多进程multiprocessing **创建与运行进程** 1. **进程创建**：使用`multiprocessing.Process`类创建进程，传入`target`参数为要执行的函数名，`args`参数为函数的参数元组。例如： ```python from ...
简单学习Python多进程Multiprocessing
09-21
Python的多进程模块Multiprocessing是Python中用于实现并发执行任务的重要工具，特别是在处理CPU密集型任务时，能够充分利用多核处理器的优势。本文将详细介绍Multiprocessing的基本概念、如何创建进程、利用队列...
Python多进程multiprocessing.Pool类详解
09-20
Python的`multiprocessing`模块是实现多进程编程的关键工具，尤其在处理大量计算任务或并发操作时，能够充分利用多核CPU的优势。`multiprocessing.Pool`类是`multiprocessing`模块中的核心类，它允许我们创建一个...
Python Multiprocessing多进程 使用tqdm显示进度条的实现
09-18
在Python编程中，当面临计算密集型任务时，单线程的执行方式可能无法充分利用多核CPU的优势，这时就需要引入多进程技术来提升程序的运行效率。Python的`multiprocessing`模块提供了创建多进程的功能，而`tqdm`库则...
python sleep占用cpu吗_python 多进程，实际上都没有运行，sleep
weixin_39658759的博客
12-13 1148
思考并行运算的代码块中，是计算密集型的。因为计算的时间复杂度比较高，跑每一个例子会耗费几天的时间。因此不存在所谓活少人多的问题。1.是否是进程优先级的问题答案为否，因为个进程优先级一致，而每个进程所需的内存量和计算量基本一致，所需运行时间也接近的。2.是否是代码层面的问题答案为否，因为可以看到已经有台机器可以正常的按照意图来跑。3.是否是机器的问题答案有可能，那究竟是机器的什么问题呢？在一台21核...
Windows环境下Python中multiprocessing关于RuntimeError异常的处理方式
易编橙 · 终身成长社群，相遇已是上上签！
04-11 2588
前言 在上一篇博文中，我们发现下方的代码示例在Linux、Mac系统上是可以正常执行的，但是如果是在Windows系统执行就会抛出RuntimeError异常。 虽然上一篇博文有针对该RuntimeError异常作出处理，但是我还是觉得针对该问题需要单独提出来一下（因为很有纪念意义，
Python-多进程踩坑实记
qq_37851620的博客
01-04 3983
python 的多进程在 windows 下存在一些奇怪的坑 ......
使用python多进程（multiprocessing）中遇到的问题
Una_zh
03-21 3503
推荐阅读：http://luly.lamost.org/blog/python_multiprocessing.html 1. 参数共享 1.1 进程间传递的所有参数必须是可以被pickle的 可以被pickle的python对象类型：（没找到之前那个链接。。。） 被pickle的对象（比如说其中包含有一棵树）的递归层次有限制，可以用sys.setrecursionlimit(n)来改变，默认...
31 Python 多进程-multiprocessing
忧桑的小兔子
01-15 4740
详细介绍了操作系统中的进程，Python中GIL对线程的限制以及Python与多进程。另外还介绍了Python中多进程编程模块-multiprocessing的使用，其中包括multiprocessing中每个类，函数的详细介绍，使用示例等。
python多进程multiprocessing
06-28
### 回答1： Python多进程（multiprocessing）是一种并行计算的方式，可以在多个CPU核心上同时执行任务，提高程序的运行效率。它可以通过创建多个进程来实现并行计算，每个进程都有自己的独立内存空间，可以独立运行。在Python中，可以使用multiprocessing模块来实现多进程编程，它提供了一系列的类和函数，可以方便地创建和管理多个进程。使用multiprocessing模块可以有效地提高程序的运行速度，特别是在处理大量数据或计算密集型任务时，效果更加明显。 ### 回答2： Python多进程multiprocessing是一个用来创建并行程序的模块，它允许Python程序同时运行多个进程，从而大幅提高程序的运行效率。在Python中，多进程可以通过fork()系统调用实现，但是由于在Windows上无法完全实现fork()，因此Python在Windows上仅支持多线程，而不支持多进程。 Python多进程中最基本的概念是进程（Process）。在Python中，创建进程有两种基本的方式：使用Process类和使用Pool类。Process类允许我们创建一个进程对象，可以给进程传递参数并启动进程。Pool类则可以创建多个进程，并且自动分配任务到不同的进程中。 Python中还有一些重要的概念和技巧，例如进程间通信（IPC）、共享内存、信号量、锁等。进程间通信是在多进程应用程序中非常常见的技术，它可以让不同的进程之间进行数据交换、资源共享等操作。共享内存则允许不同的进程访问同一个内存区域，从而避免了复制数据的过程，提高了程序的效率。 对于使用Python多进程multiprocessing进行开发的程序，我们需要借助Python标准库中的一些附加模块，例如queue、threading、signal等，以及一些第三方库，例如PyQt、numpy等。对于不同的应用场景，我们可以选择不同的库和技术，从而实现最佳的多进程方案。 总体而言，Python多进程multiprocessing是一个非常强大的模块，可以大幅提高Python程序的运行效率和并发性能。不过，要想熟练地运用这个模块，需要对Python的多线程、操作系统和计算机架构等知识有一定的了解。同时，对于更高级别的多进程应用，可能还需要一些专业的领域知识。 ### 回答3： Python是一种面向对象、解释型、高级编程语言，其简洁、易读、易学的语法特点赢得了大批开发者的青睐。而multiprocessing则是Python的一个重要模块，可用于实现多进程并发编程，充分利用计算机多核心资源，提高Python程序的运行效率。 multiprocessing模块的主要特点包括： 1. 提供了Process、Pool、Queue等多个类和函数，方便实现进程的创建、管理和通信。 2. 可以使用fork进程创建新的进程，并可在进程之间共享数据，也可以将任务分配给多个进程执行，提高效率。 3. 提供了多种进程间通信机制的实现，如Pipe、Queue、Value和Array等，让进程之间的通信更加方便，同时保证数据的正确和安全。 4. 灵活的参数设置和控制，比如可以设置进程数、超时时间等，让程序更加可控和稳定。 使用multiprocessing模块可以带来显著的性能提升，特别适合需要处理大规模数据、密集计算或者需要高并发的应用场景。例如，在爬取大规模网站数据时，可以把每个网站的数据抓取任务分配给不同的进程去执行，节约大量时间。在图像处理和机器学习方面也可以大大加快程序的速度。 总之，Python的multiprocessing模块为我们提供了一种易用、高效的多进程编程方法，使我们能够更好地利用计算机资源，提高Python程序的性能和效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 30
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值