Python使用multiprocessing模块实现多进程（demo）

最新推荐文章于 2024-04-21 12:12:48 发布
最新推荐文章于 2024-04-21 12:12:48 发布
阅读量730 收藏
点赞数
分类专栏： Python爬虫 文章标签： python进程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YiXiao1997/article/details/89792571
版权 
from multiprocessing import Process
import time

def run(str):
    for i in range(100):
        #os.getpid获取进程号
       print("当前进程"+str(os.getpid())+time.ctime())
       time.sleep(1)

if __name__ == '__main__':
    print("主进程启动"+str((os.getpid())))
    #创建4个子进程
    for i in range(0,4):
        p = Process(target=run,args=(str(i),))
        p.start()#开启线程
        #p.join()等待子进程结束，父进程才能结束
        p.join()
        print("父进程结束")

 

Behersve
关注
专栏目录
Python3多进程 multiprocessing 模块实例详解
09-20
主要介绍了Python3多进程 multiprocessing 模块,结合实例形式详细分析了Python3多进程 multiprocessing 模块的概念、原理、相关方法使用技巧与注意事项,需要的朋友可以参考下
python多进程管理DEMO
weixin_33749242的博客
11-09 82
在使用python的时候，为了提高效率，也为了避开python的GIL限制充分发挥多核的优势，经常会使用multiprocessing模块来实现多进程处理。效率会有很大的提升，但这样一来就引入的多进程管理的问题，比如：假定父进程设定的是启动5个子进程，但在实际运行中因为种种原因有3个子进程异常退出，此时该怎么办？运行过程中想退出整个程序的运行，怎么退出更合理，更优雅？下面的python代码简单展示...
python多进程demo
zjm750617105的专栏
08-05 618
任务需求，在声纹识别任务中，模型库可能比较大，如果单线程的话，每个测试句都跟几百个模型计算得分，那么测试过程太慢了。这里采用 多进程 和 多线程（暂时空白） 的方式进行处理。多进程版本（省略了内部函数实现）print("Test Stage") print("test length ", len(testList)) #这个test的数据太多了,并且每一个要跟500个model进行计算,所以必须采用
python多进程实例_python多进程并发demo实例解析
weixin_39795284的博客
12-19 146
这篇文章主要介绍了python多进程并发demo实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下前言下午需要简单处理一份数据，就直接随手写脚本处理了，但发现效率太低，速度太慢，就改成多进程了；程序涉及计算、文件读写，鉴于计算内容挺多的，就用多进程了(计算密集)。代码import pandas as pdfrom pathlib import...
python多进程并发demo实例解析
python爬虫辅导教程python爬虫辅导教程
12-13 174
这篇文章主要介绍了python多进程并发demo实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 这篇文章主要介绍了python多进程并发demo实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 前言 下午需要简单处理一份数据，就直接随手写脚本处理了，但发现效率太低，速度太慢，就改成...
python processpoolexector 释放内存_python的multiprocessing模块进程创建、资源回收-Process,Pool...
weixin_39530839的博客
11-23 1170
python的multiprocessing有两种创建进程的方式，每种创建方式和进程资源的回收都不太相同，下面分别针对Process,Pool及系统自带的fork三种进程分析。1.方式一：fork()举例：import ospid = os.fork() # 创建一个子进程os.wait() # 等待子进程结束释放资源pid为0的代表子进程。缺点：1.兼容性差，只能在类linux系统下使用，win...
Python标准库 subprocess 模块多进程编程详解
最新发布
2301_79600088的博客
04-21 670
OS 执行一个shell命令，会自动打开三个标准文件标准输入文件(stdin)，通常对应终端的键盘；标准输出文件(stdout)， 标准错误输出文件(stderr)，这两个文件都对应终端的屏幕。进程的I/O操作进程将从标准输入文件中得到输入数据将正常输出数据输出到标准输出文件，将错误信息送到标准错误文件中。标准输入、输出可以重定向， 从ubuntu linux为例输入重定向： wc < abc.txt, 输入重定向为由文件读入。
Python进程，多进程，获取进程id，给子进程传递参数操作示例
12-25
本文实例讲述了Python进程，多进程，获取进程id，给子进程传递参数操作。分享给大家供大家参考，具体如下： 线程与线程之间共享全局变量，进程之间不能共享全局变量。 进程与进程相互独立 (可以通过socket套接字...
python 多进程使用demo
weixin_40938748的博客
12-28 224
''' multiprocessing库 跨平台版本的多进程模块，提供一个Process类来代表一个进程对象 ''' import multiprocessing import time def run(): while 1: print("第二进程") time.sleep(1) if __name__ == '__main__': prin...
Python多进程和协程Demo
BryantJamesHua的博客
09-16 333
Python多进程和协程 起源 由于python的GIL锁，导致了一个进程里面只有一个线程能运行(拿到锁的运行)，那么就需要使用协程，协程是异步的而且不会阻塞。任务可以给协程运行，然后开多个进程。下面是协程代码，当高并发的I/O任务的时可以使用如下demo # coding:utf-8 from multiprocessing import Pool import asyncio import time #每个携程睡一秒钟 相当于任务 async def test(time): await asy
python多进程、多线程、协程demo
wx479的博客
03-23 290
【代码】python多进程、多线程、协程demo
python 最容易理解的多进程demo
A_Prophet的博客
11-30 350
创建一个简单的多进程任务只需要5步： 1.创建任务的函数，准备多线程调用 2.创建进程池，并指定进程池中线程的个数 3. 进程池调用步骤1创建的函数，开启进程运行任务  4.关闭进程池 pool.close() 5.判断是否需要等待所有进程结束再运行主函数pool.join() # coding=utf-8 from multiprocessing import Process, P...
Python学习笔记之--多线程和多进程使用demo
goldWave的博客
04-29 399
OC多线程使用笔记 由于实际运用中开辟线程和进程 都是在for 循环中进行的，所以不能不考虑同时 并发的线程和进程的数量。所以在下面使用都 有控制并发数的方法。 由于Python 多线程GIL锁的原因，导致cpu处理环节，实际上是串行执行的，导致在CPU处理密集型的 方法中，采用多线程处理却要比单线程处理慢。所以有必要引进 多进程处理方式。 threading 启动多线程 多线程在CPU密集型操作中是串行的，多线程使用与I/O操作或者网络请求操作。 使用Semaphore控制并发线程数量 threadin
python input多个输入,Python使用多个输入对函数进行多处理
weixin_34098296的博客
01-13 272
In Python the multiprocessing module can be used to run a function over a range of values in parallel. For example, this produces a list of the first 100000 evaluations of f.def f(i):return i * idef m...
python-面向运行时性能优化-multiprocessing
weixin_42914706的博客
11-07 245
算法可以划分为不同的 workers-处理器处理，可以根据机器核数并行部署运行；并行计算涉及在处理器的多个核心之间执行多个任务，这意味着这些任务是同时执行的，同时并考虑并行方式是否优化可以加快我们的计算速度；结构组成由-程序、数据和进程控制块组成multiprocessing 是一个支持使用与 threading 模块类似的 API 来产生进程的包；multiprocessing 包同时提供了本地和远程并发操作，通过使用子进程而非线程有效地绕过了 全局解释器锁；
python进程池 多进程共享类实例
热门推荐
jacke121的专栏
11-02 1万+
python进程池 多进程共享类实例
Python 笔记（17）— 多进程实现（面向对象和面向过程）、守护进程、进程间通信、进程池、进程池之间通信、多进程生产消费模型
wohu1104的专栏
09-09 1614
1 面向过程启动多进程 Python 操作进程的类都定义在 multiprocessing 模块，该模块提供了一个 Process 类来代表一个进程对象，这个对象可以理解为是一个独立的进程，可以执行另外的事情。 import time import multiprocessing def test1(): while True: print("--1--") time.sleep(1) def test2(): while True:
multiprocessing模块
weixin_30409849的博客
04-21 226
multiprocessing模块为在子进程中运行任务、通信和共享数据，以及执行各种形式的同步提供支持。进程没有任何共享状态，如果某个进程修改数据，改动只限于该进程内。 Process（）类：表示运行在一个子进程中的任务。 class Process(object): def init(self, group=None, target=None, name=None, args=(), kwarg...
给一个使用python multiprocessing 模块实现多进程的代码
09-11
### 回答1： 下面是一个使用python `multiprocessing` 模块实现多进程的示例代码： ``` import multiprocessing def worker(number): print(f'Worker {number} is running') if __name__ == '__main__': for i in range(5): p = multiprocessing.Process(target=worker, args=(i,)) p.start() ``` 这段代码创建了5个进程，每个进程都执行`worker`函数，并打印出进程编号。 ### 回答2： 下面是一个使用Python multiprocessing模块实现多进程的示例代码： ```python import multiprocessing def worker(name): print(f'Worker {name} 执行') if __name__ == '__main__': processes = [] for i in range(5): p = multiprocessing.Process(target=worker, args=(i,)) processes.append(p) p.start() for p in processes: p.join() ``` 以上代码创建了5个进程，并通过worker函数在每个进程中执行一些任务。在主程序的主函数中，先创建一个进程列表用于存储即将被创建的进程对象。 在for循环中，通过multiprocessing.Process类创建一个进程对象，将要执行的任务指定为worker函数，并传递一个参数i给worker函数。然后将新创建的进程对象添加到进程列表中。 接着，使用p.start()启动每个进程。 最后，使用p.join()等待每个进程执行完毕，确保所有进程都执行完毕后再继续主程序的执行。 运行以上代码，你会看到五个进程同时被创建并执行，不同进程之间的输出顺序可能会有不同。 ### 回答3： 多进程可以通过Python的multiprocessing模块来实现。下面是一个使用Python multiprocessing模块实现多进程的示例代码： ```python import multiprocessing def worker(num): """Worker function""" print(f'Worker {num} started') # do some work print(f'Worker {num} finished') if __name__ == '__main__': # 创建多个进程 processes = [] for i in range(5): p = multiprocessing.Process(target=worker, args=(i,)) processes.append(p) p.start() # 等待进程结束 for process in processes: process.join() ``` 在上述代码中，我们首先定义了worker函数作为每个进程要执行的任务。然后，在主程序中使用for循环创建了5个进程，并将它们存储在一个列表中。每个进程都使用multiprocessing.Process类创建，并指定了要执行的目标函数和传递给它的参数。然后，我们通过调用start()方法来启动每个进程。 在所有进程都启动后，我们通过调用join()方法来等待每个进程的结束。这样可以确保主程序在所有子进程执行完毕之前不会退出。 运行上面的代码，你会看到每个进程都会输出"Worker x started"和"Worker x finished"的信息，其中x是进程的编号。 使用Python的multiprocessing模块可以帮助我们实现多进程编程，从而在计算机上同时执行多个任务，提高程序的运行效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值