python爬虫学习笔记--python多进程
使用multiprocessing模块创建多进程:
import os
from multiprocessing import Process

#子进程要执行的代码
def run_proc(name):
    print('Child process %s (%s)Running...' %(name,os.getpid()))
    
if __name__=='__main__':
    print('Parent poecess %s.' % os.getpid())
    for i in range(5):
        p=Process(target=run_proc,args=(str(i),))
        print('Process will start.')
        p.start()
    p.join()
    print('Process end.')

执行效果:


使用multiprocessing模块中的Pool类代表进程池对象:

    Pool可以提供指定数量的进程供用户调用,默认大小是CPU的核数。

from multiprocessing import Pool
import os,time,random

def run_task(name): 
    print('Task %s (pid=%s) is running...' % (name,os.getpid())) 
    time.sleep(random.random()*3) 
    print('Task %s end.' % name)
	
	
if __name__=='__main__': 
    print('Current process %s.' % os.getpid()) 
    p=Pool(processes=3)#指定创建进程池大小为3,用p=Pool()则进程池大小为CPU核数 
    for i in range(5): 
        p.apply_async(run_task,args=(i,)) 
    print('Wating for all subprocess done...') 
    p.close() 
    p.join() 
    print('All subprocesses done.')


执行效果:

进程间通信:

Queue通信方式

from multiprocessing import Process,Queue
import os,time,random

#写数据进程执行的代码
def proc_write(q,urls):
    print('Process(%s) is writing...' % os.getpid())
    for url in urls:
        q.put(url)
        print('Put %s to queue...' % url)
        time.sleep(random.random())
        
#读数据进程执行的代码
def proc_read(q):
    print('Process (%s) is reading...' % os.getpid())
    while True:
        url=q.get(True)
        print('Get %s from queue.' % url)

if __name__=='__main__':
    #父进程创建Queue,并传给各个子进程
    q=Queue()
    proc_writer1=Process(target=proc_write,args=(q,['url_1','url_2','url_3']))
    proc_writer2=Process(target=proc_write,args=(q,['url_4','url_5','url_6']))
    proc_reader=Process(target=proc_read,args=(q,))
    #启动子进程proc_writer写入
    proc_writer1.start()
    proc_writer2.start()
    #启动子进程proc_read读取:
    proc_reader.start()
    #等待proc_writer结束:
    proc_writer1.join()
    proc_writer2.join()
    #proc_read进程里是死循环,无法等待其结束,只能强行终止
    proc_reader.terminate()

执行效果:



阅读更多
个人分类: python爬虫学习
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

python爬虫学习笔记--python多进程

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭