php大任务划分成多个小任务【体验多进程的美,提高5倍性能】
将循环执行的任务,划分为多个进程执行,提高工作效率
假设我们现在有一个通过curl抓取网页内容的需求,需要抓取10个网页,url地址通过数组读取,每个curl耗时2s。如果我们通过for循环来抓取这10个网页,需要耗时20s,使用多进程我们可以将任务划分成5份,分别由5个进程执行,每个进程抓取2个url,并发执行,共耗时4s,效率提高5倍。
<?php $url_arr = array(); for ($i=0;$i<10;$i++){ $url_arr[] = "www.baidu.com?wd=".$i; } echo "start:".date("Y-m-d H:i:s").PHP_EOL; $workers = array(); for ($i=0;$i<5;$i++){ $process = new swoole_process('getContents',true); // 回调函数 $process->start(); // 启动进程 $process->write($i); // 写入数据到进程 $workers[] = $process; } // 主进程数据结果 foreach ($workers as $process){ echo $process->read(); echo PHP_EOL; } echo "end:".date("Y-m-d H:i:s").PHP_EOL; function getContents(swoole_process $worker){ // 读取进程写入的值 $i = $worker->read(); global $url_arr; $res1 = execCurl($url_arr[($i*2)]); $res2 = execCurl($url_arr[($i*2+1)]); echo $res1.PHP_EOL.$res2; } // 假设爬取,定时2s function execCurl($url){ sleep(2); return "handle ".$url." finished"; }