mac m1 多进程multiprocessing下pyinstaller打包后cpu百分百

最新推荐文章于 2024-03-05 19:05:30 发布
最新推荐文章于 2024-03-05 19:05:30 发布
阅读量469 收藏 6
点赞数 11
分类专栏： python 文章标签： macos python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/konsj/article/details/134762759
版权

环境说明

系统： macOS m1 Sonoma 14.0
python: 3.12.0
pyinstaller: 6.2.0

问题说明

我的使用的是多进程multiprocessing模式写的一个脚本，遇到了一个奇怪的问题
我正常开发python运行时，一切正常，但打包后再运行， 程序一启动就疯狂复制生成进程，最终导致cpu100，系统卡死。

问题定位

最终定位代码

multiprocessing.queue()

只要去除了这段代码就没问题

问题解决

把python的标准库中模块multiprocessing换成三方模块multiprocess
更多查看：https://multiprocess.readthedocs.io/en/latest/

multiprocess模块的接口与multiprocessing基本相同；部分函数、方法的传参不完全一样，不过，但对于通常应用情景不会有差别。

问题思考

至于multiprocessing为什么在mac m1出现这样的问题，我并没有找到原因？ 希望有了解的同学，麻烦留言告知，不胜感激。

又是一个折腾了很久的问题，实在不太理解这种不兼容，不想说python什么，坑呀

konsj
关注
  • 11
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pyinstaller 打包含有multiprocessing多进程代码异常处理
拉灯的小手的博客
06-20 320
'下添加一句multiprocessing.freeze_support()即可。在windows上Pyinstaller打包多进程程序需要添加特殊指令。修改方式比较简单，在if。
嵌入式系统开发笔记76：使用PyIntaller对多进程程序进行打包
snmplink的博客
02-19 937
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、问题二、解决方法三、解释 前言 程序设计完成后，使用PyInstaller对程序进行打包，在程序运行时报错，源程序运行没有问题。本文记录整个过程和解决方法。 一、问题 1、源程序运行没有问题； 2、PyInstaller已经使用过多次，没有问题。 本次打包后，运行报如下错误： 实际上，端口无任何占用，问题提示不正确。 二、解决方法 本次报错的主要原因在于，程序中使用了多进程程序。对于多进程程序，在使用PyInstalle
pyinstaller的库导入和多进程打包问题
热门推荐
Xiong_Big的博客
01-19 2万+
以前使用py2exe进行打包，那也仅限于windows。后来由于工作原因需要在Linux上进行打包操作，那么就不能使用py2exe工具了，后来选择了pyinstaller。 在实际应用中，pyinstaller打包的效率和操作性很好，个人觉得比py2exe更加智能，但是也是有一些问题。 开发环境：Windows 7 + python3.4 一、import导入的问题 pyins
Pyinstaller 多进程代码打包 exe 出现多个进程解决方案
wm9028的专栏
09-23 5104
Pyinstaller 多进程代码打包 exe 出现多个进程解决方案 在执行项目的根目录添加 multiprocessing_win.py import os import sys import multiprocessing try: if sys.platform.startswith('win'): import multipro...
py程序是多进程的话，使用pyinstaller打包会出现错误
huanghong6956的博客
02-26 441
如果py程序是多进程的话，使用pyinstaller打包会出现错误，这个时候只要加上一行代码 在： ifname==‘mian’: #新增 multiprocessing.freeze_support() 即可
Python多进程multiprocessing用法实例分析
09-21
在Python中，线程（threading）主要用于处理I/O密集型任务，而多进程（multiprocessing）则更适合CPU密集型任务，因为它可以避免全局解释器锁（GIL）的限制。 **进程的创建** 创建进程的基本方式是通过`...
Python多进程multiprocessing、进程池用法实例分析
09-17
Python的多进程编程是通过`multiprocessing`模块实现的，该模块提供了进程管理以及进程池的功能，使得在Python中能够方便地创建和控制多个独立运行的进程。在Python中，多进程比多线程更适合于CPU密集型任务，因为每...
简单学习Python多进程Multiprocessing
09-21
Python的多进程模块Multiprocessing是Python中用于实现并发执行任务的重要工具，特别是在处理CPU密集型任务时，能够充分利用多核处理器的优势。本文将详细介绍Multiprocessing的基本概念、如何创建进程、利用队列...
Python Multiprocessing多进程 使用tqdm显示进度条的实现
09-18
在Python编程中，当面临计算密集型任务时，单线程的执行方式可能无法充分利用多核CPU的优势，这时就需要引入多进程技术来提升程序的运行效率。Python的`multiprocessing`模块提供了创建多进程的功能，而`tqdm`库则...
Python3多进程 multiprocessing 模块实例详解
09-20
Python3的`multiprocessing`模块是用于实现多进程编程的核心工具，它允许程序创建和管理多个并发执行的进程。在Python中，多进程是通过复制主进程并分配独立的内存空间来实现的，每个进程都有自己的全局变量和堆栈，...
pyinstaller 与 multiprocessing 冲突
WoHowLearn的博客
08-31 896
没打包之前运行没问题 ， pyinstaller 打包之后 会内存泄漏 # -*- coding: utf-8 -*- from multiprocessing import Process, Queue import os, time, random # 写数据进程执行的代码: def write(q): print('Process to write: %s' % os.getp...
关于Python进程池pool与pyinstaller打包exe程序运行的奇怪问题！（已解决）
飞扬的汤圆的专栏
10-26 1401
关于Python进程池pool与pyinstaller打包exe程序运行的奇怪问题！ 最近想吧自己写的py文件打包成exe文件给别人用，学习了pyinstaller也基本会用了，但是在打包多进程程序的时候遇到奇怪问题，向各位求解。 我吧程序简化了下： import multiprocessing def do(n): # 参数n由args=(1,)传入 name = multiprocessing.current_process().name # 获
python多进程用pyinstaller打包碰到的小坑，multiprocessing.Manager().dict()的坑
oHuNiu的博客
07-06 628
要是用pyinstaller打包成exe，，这句话一定要写在所有使用multiprocessing之前，我以前的代码是这样的。这样写在python环境运行没问题。但用pyinstaller打包成exe文件后就会无限打开新窗口。结果打包后，无法正常打开程序。后来把这句话提到定义q_dict之前，程序打包一切正常。还有使用multiprocessing.Manager().dict()的问题，原代码这样写。进程内修改根本就没起作用，后来发现改成下面这种写法就可以了，不知道啥原理，只知道这样可行。
window下pyinstaller多进程打包遇到问题
铭记技术人生
12-02 701
windows下用pyinstaller打包程序， 运行python3.11.6和python3.12.0都遇到同样的问题
【pyinstaller打包记录】程序使用多进程，打包后，程序陷入死循环
最新发布
YY007H的博客
03-05 970
在编写python程序的时候，或多或少会用到多进程，但是使用多进程后，再使用pyinstaller打包我们的程序后，代码会陷入死循环。
【PyInstaller打包】
weixin_43212086的博客
05-26 51
问题：使用pyinstaller在Windows下打包多进程EXE应用，点开应用后出现内存和cpu爆满。解决办法：在使用多进程之前，添加一行 multiprocessing.freeze_support()的信息，请阅读Python库手册中有关多重访问的部分。
如果是m1芯片没有intel MKL如何应用pyinstaller封装
weixin_42596214的博客
01-02 215
如果你使用的是 M1 芯片，并且你没有安装 Intel MKL，你可以使用 PyInstaller 封装 Python 程序。 使用 PyInstaller 封装 Python 程序的步骤如下： 安装 PyInstaller： 使用 pip 安装 PyInstaller： pipinstall pyinstaller ...
pyinstaller 在某些电脑上运行很慢_电脑资讯开发者在苹果 M1 Mac 上成功虚拟化运行 Win10 ARM...
weixin_39933082的博客
11-30 211
本文转自IT之家，作者骑士。外媒 MacRumors 报道，开发者 Alexander Graf 已经成功地在苹果 M1 Mac 上虚拟化运行 Windows 10 ARM 系统，证明 M1 芯片能够运行微软的 Windows 10 操作系统。目前，采用 M1 芯片的 Mac 不支持 Windows，也没有像英特尔 Mac 那样的 Boot Camp 功能，但支持 Windows 是很多...
M1芯片的Macbook执行multiprocessing.pool失败的原因
weixin_43675440的博客
08-22 139
这个问题的主要原因在于M1芯片上的启用新的线程的方法。在Pyhon中，想要启用一个新的线程来的话，有多种方法可以选择例如。在M1的Macbook Air上工作的时候，会出现如下错误信息。所以要解决这个问题的话，只需要在调用pool的时候指定方法即可。在OSX中，默认方法是。的话，会发现默认方法是。
pyinstaller 打包进程池黑窗
01-13
根据提供的引用内容，以下是使用pyinstaller打包带进程池的代码的注意事项： 1. 在使用pyinstaller打包带进程池的代码时，需要注意以下几点： - 确保在代码中导入了`multiprocessing`模块，并正确使用了进程池相关的函数和方法。 - 在使用pyinstaller打包时，需要添加`--hidden-import=multiprocessing`参数，以确保进程池相关的模块被正确导入。 - 如果代码中使用了自定义的函数或类，需要确保这些函数或类也被正确导入。 2. 关于Python进程池pool与pyinstaller打包exe程序运行的奇怪问题： - 在使用pyinstaller打包带进程池的代码时，有时会出现奇怪的问题，例如黑窗口闪烁、程序无响应等。 - 这可能是由于pyinstaller对进程池的处理方式不同导致的。可以尝试以下解决方法： - 使用`--hidden-import=win32timezone`参数，以解决时区相关的问题。 - 使用`--hidden-import=pywintypes`参数，以解决pywintypes模块相关的问题。 - 使用`--hidden-import=queue`参数，以解决队列相关的问题。 以下是一个示例代码，演示了如何使用pyinstaller打包带进程池的代码，并解决了可能出现的奇怪问题： ```python import multiprocessing def worker(num): print('Worker:', num) if __name__ == '__main__': pool = multiprocessing.Pool(processes=4) pool.map(worker, range(10)) pool.close() pool.join() ``` 使用以下命令进行打包： ```shell pyinstaller --hidden-import=multiprocessing --hidden-import=win32timezone --hidden-import=pywintypes --hidden-import=queue your_script.py ``` 请注意，根据具体情况可能需要调整参数和导入的模块。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值