回调函数什么时候用?(回调函数在爬虫中最常用)
造数据的非常耗时
处理数据的时候不耗时
你下载的地址如果完成了,就自动提醒让主进程解析
谁要是好了就通知解析函数去
需要回调函数的场景:进程池中任何一个任务一旦处理完了,就立即告知主进程:我好了额,你可以处理我的结果了。主进程则调用一个函数去处理该结果,该函数即回调函数
我们可以把耗时间(阻塞)的任务放到进程池中,然后指定回调函数(主进程负责执行),这样主进程在执行回调函数时就省去了I/O的过程,直接拿到的是任务的结果。
回调函数-下载网页的小例子
如果在主进程中等待进程池中所有任务都执行完毕后,再统一处理结果,则无需回调函数
主进程等进程池全部完成再统一处理,不需要回调函数