python 多进程 multiprocessing 和 keras 遇到的问题

2 篇文章 0 订阅
2 篇文章 0 订阅

最近的项目是完成用多进程进行tcp接收,以及通过消息内容进行keras模型预测。

最开始的版本:

             主进程:循环接收 客户端信息

             子进程:每一个新链接,创建一个子进程。

                           子进程对信息进行提取,提取后利用keras进行分析预测。

修改的版本1:

              主进程:循环接收 客户端信息

              子进程:每一个新链接,创建一个子进程。

                            子进程对信息进行提取,提取信息中的id号

              子子进程: 每一个id号 创建一个子子进程。

                             子子进程进行keras分析预测。

# 推翻的原因

             1. 进程太多。

              2. 当链接关闭时,需关闭该链接 相关id号创建出来的子子进程。而且必须要清空对应进程的queue队列。

                  遇到的问题: 字典 a = {id:子子进程}

                                        字典 b = {id:queue}。

                                       关于这样的几个字典,在主进程创建,在子进程修改。但是主进程一直都是创建是的样子,是一个空字典。

                                       并且,用Manager全局变量也不让存储 进程对象,队列对象。

                                       并且,进程间不允许传递 进程对象

                 我的解决方案1:

                             主进程可以控制子进程,但不能直接控制子子进程。

                             所以 当关闭子进程时 使用psutil模块,查询子进程下所有子子进程,统统kill掉。但是没有清空queue,直接关了。

                  代码未通过 评审。

                 我的解决方案2(未实现):

                             子进程创建子子进程时,会有一个字典,存储子子进程的信息。

                             所以当 主进程关闭子进程时 ,先让  子进程关闭子子进程。 

                             但是由于 主进程 和 子进程 同时运行。就会发生 子进程先被关闭,而子子进程还开着呢。

                             最后 子子进程 变成了僵尸进程。

                            主要是子进程 不能加 守护。因为 子进程 daemon = True的话,就不允许创建子子进程了。

修改的版本 2:

                主进程:循环接收 客户端信息

                子进程:

                             创建子 进程池。

                              对客户端消息进行解析。1类型 直接加载 keras 模型

                                                                      2类型 消息投入进程池,进行预测。

                  子进程池:

                               解析消息内容,进行预测。

遇到的问题:

                   1.(已解决)  最开始是在主进程 里创建了  子进程 和进程池。 子进程无法给 进程池添加任务。

                             解决办法就是 进程池在 子进程里面创建。

                    2. (已解决)进程池不运行,不报错。

                             我的原因是,最开始,我的进程池 任务 是    类 的一个方法。self对象中含有 epoll,这个东西不能往进程池任务里面传。

                             解决办法就是 把进程池任务 单独创建了一个 类。

                    3. (未解决)在 给进程池投任务的时候,需要把 加载的keras模型 传递过去。

                             原因是,进程池任务  不能传入 模型对象。报错显示似乎含义是: 序列化对象不能传递。

                  现在 想看看 若何利用 多进程 进程keras模型分析的代码,需要推荐一下。

                            

 

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Python多进程multiprocessing)是一种并行计算的方式,可以在多个CPU核心上同时执行任务,提高程序的运行效率。它可以通过创建多个进程来实现并行计算,每个进程都有自己的独立内存空间,可以独立运行。在Python中,可以使用multiprocessing模块来实现多进程编程,它提供了一系列的类和函数,可以方便地创建和管理多个进程。使用multiprocessing模块可以有效地提高程序的运行速度,特别是在处理大量数据或计算密集型任务时,效果更加明显。 ### 回答2: Python多进程multiprocessing是一个用来创建并行程序的模块,它允许Python程序同时运行多个进程,从而大幅提高程序的运行效率。在Python中,多进程可以通过fork()系统调用实现,但是由于在Windows上无法完全实现fork(),因此Python在Windows上仅支持多线程,而不支持多进程Python多进程中最基本的概念是进程(Process)。在Python中,创建进程有两种基本的方式:使用Process类和使用Pool类。Process类允许我们创建一个进程对象,可以给进程传递参数并启动进程。Pool类则可以创建多个进程,并且自动分配任务到不同的进程中。 Python中还有一些重要的概念和技巧,例如进程间通信(IPC)、共享内存、信号量、锁等。进程间通信是在多进程应用程序中非常常见的技术,它可以让不同的进程之间进行数据交换、资源共享等操作。共享内存则允许不同的进程访问同一个内存区域,从而避免了复制数据的过程,提高了程序的效率。 对于使用Python多进程multiprocessing进行开发的程序,我们需要借助Python标准库中的一些附加模块,例如queue、threading、signal等,以及一些第三方库,例如PyQt、numpy等。对于不同的应用场景,我们可以选择不同的库和技术,从而实现最佳的多进程方案。 总体而言,Python多进程multiprocessing是一个非常强大的模块,可以大幅提高Python程序的运行效率和并发性能。不过,要想熟练地运用这个模块,需要对Python的多线程、操作系统和计算机架构等知识有一定的了解。同时,对于更高级别的多进程应用,可能还需要一些专业的领域知识。 ### 回答3: Python是一种面向对象、解释型、高级编程语言,其简洁、易读、易学的语法特点赢得了大批开发者的青睐。而multiprocessing则是Python的一个重要模块,可用于实现多进程并发编程,充分利用计算机多核心资源,提高Python程序的运行效率。 multiprocessing模块的主要特点包括: 1. 提供了Process、Pool、Queue等多个类和函数,方便实现进程的创建、管理和通信。 2. 可以使用fork进程创建新的进程,并可在进程之间共享数据,也可以将任务分配给多个进程执行,提高效率。 3. 提供了多种进程间通信机制的实现,如Pipe、Queue、Value和Array等,让进程之间的通信更加方便,同时保证数据的正确和安全。 4. 灵活的参数设置和控制,比如可以设置进程数、超时时间等,让程序更加可控和稳定。 使用multiprocessing模块可以带来显著的性能提升,特别适合需要处理大规模数据、密集计算或者需要高并发的应用场景。例如,在爬取大规模网站数据时,可以把每个网站的数据抓取任务分配给不同的进程去执行,节约大量时间。在图像处理和机器学习方面也可以大大加快程序的速度。 总之,Pythonmultiprocessing模块为我们提供了一种易用、高效的多进程编程方法,使我们能够更好地利用计算机资源,提高Python程序的性能和效率。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值