c语言跨进程回调函数,14.python多进程之回调函数

一、 概述

需要回调函数的场景：进程池中任何一个任务一旦处理完了，就立即告知主进程：我好了额，你可以处理我的结果了。主进程则调用一个函数去处理该结果，该函数即回调函数

我们可以把耗时间(阻塞)的任务放到进程池中，然后指定回调函数(主进程负责执行)，这样主进程在执行回调函数时就省去了I/O的过程，直接拿到的是任务的结果。

子进程执行返回的结果做为回调函数的参数传入。

回调函数是在主进程中执行的。回调函数适用于子进程数多且耗时时间长的场景。

二、 示例

使用多进程请求多个URL来减少网络等待浪费时间

from multiprocessing import Pool

import requests

import json

import os

def get_page(url):

print(' get %s' %(os.getpid(),url))

respone=requests.get(url)

if respone.status_code == 200:

return {'url':url,'text':respone.text}

def pasrse_page(res):

print(' parse %s' %(os.getpid(),res['url']))

parse_res='url: size:[%s]\n' %(res['url'],len(res['text']))

with open('db.txt','a') as f:

f.write(parse_res)

if __name__ == '__main__':

urls=[

'https://www.baidu.com',

'https://www.python.org',

'https://www.openstack.org',

'https://help.github.com/',

'http://www.sina.com.cn/'

]

p=Pool()

res_l=[]

for url in urls:

res=p.apply_async(get_page,args=(url,),callback=pasrse_page)

res_l.append(res)

p.close()

p.join()

'''

拿到的是get_page的结果,其实完全没必要拿该结果,该结果已经传给回调函数处理了

'''

print([res.get() for res in res_l])

'''

打印结果:

get https://www.baidu.com

get https://www.python.org

get https://www.openstack.org

get https://help.github.com/

parse https://www.baidu.com

get http://www.sina.com.cn/

parse https://www.python.org

parse https://help.github.com/

parse http://www.sina.com.cn/

parse https://www.openstack.org

[{'url': 'https://www.baidu.com', 'text': '\r\n...',...}]

'''