php的多进程去处理这个问题比较合适。
用该php命令行程序生产多个子进程,串行变为并行处理。最简单的办法就是用exec()或者popen()函数将一个命令行推送到后台去执行。例如
exec("bin/sh/opt/zhukai.sh &";
?>
如果进程太多,就会崩溃。
下面是一个差不多的样式程序:
PHP程序(/opt/zhukai.php)、一个shell程序(/opt/zhukai.sh)作为测试用例。
程序的逻辑:
1、设置/opt/zhukai.php最多允许生成500个子进程;
2、当/opt/zhukai.php读取到一条数据后,将允许生成的子进程数减1(空闲进程数$p_number=500-1=499),然后将数据交给/opt/zhukai.sh去后台处理,不等待/opt/zhukai.sh处理结束,继续读取下一条数据;
3、当允许生成的子进程数减至0时(空闲进程数$p_number=0),/opt/zhukai.php会等待1秒钟,然后检查后台还有多少个/opt/zhukai.sh子进程尚未处理结束;
4、如果1秒钟之后/opt/zhangyan.php发现后台的/opt/zhukai.sh子进程数还是500(空闲进程数$p_number=0),会继续等待1秒钟,如此反复;
5、如果/opt/zhukai.php发现后台尚未处理结束的/opt/zhukai.sh子进程数减少到300个了(空闲进程数$p_number=500-300=200),那么/opt/zhukai.php会再往后台推送200个/opt/zhukai.sh子进程;
function run($input)
{
global $p_number;
if ($p_number <= 0)
{
$p_number = worker_processes($p_number);
setcache //放回来的数据存储到memcache中
}
$p_number = $p_number - 1;
$out = popen("/bin/sh /opt/zhukai.sh "{$input}" &", "r");
pclose($out);
}
function worker_processes($p_number)
{
//检查是否可以正常播放
$limit = 500;//允许推到后台的最大进程数
while ($p_number <= 0)
{
$cmd = popen("ps -ef | grep "/opt/zhukai.sh" | grep -v grep | wc -l", "r");
$line = fread($cmd, 512);
pclose($cmd);
$p_number = $limit - $line;
if ($p_number <= 0)
{
sleep(1);//暂停1秒钟
}
}
return $p_number;
}
$input = "http://blog.zhukai.com"; //模拟从队列文件中读取到的数据
for ($i = 1; $i <= 1000; $i++)
{
run($input);
echo "Idle process number: " . $p_number . "n";
}
?>
(/opt/zhukai.php程序用来模拟从队列文件中读取1000行数据,交给子进程/opt/zhukai.sh去处理。)
zhukai.sh
#!/bin/sh
echo $(date -d "today" +"%Y-%m-%d %H:%M:%S") $1 >> /opt/zhukai.log
sleep_time=$(expr $RANDOM % 4 + 1)
sleep $sleep_time
(/opt/zhaukai.sh脚本用来模拟向外地接收服务器发送数据。其中的$(expr $RANDOM % 4 + 1)用来生成1~5之间的随机数,用来使程序暂停1~5秒钟。暂停1秒表示网络状况好,发送数据顺畅;暂停2~6秒表示网络状况不好,发送过程需要1~5秒。)
执行程序:
/usr/local/php/bin/php /opt/zhukai.php
(/usr/local/php/bin/php因PHP解析器所在的路径)
查看/opt/zhukai.sh打下的日志文件的第一行和最后一行:
head -n 1 /opt/zhukai.log
2010-11-16 07:54:13
tail -n 1 /opt/zhukai.log
2010-11-16 07:54:18
可以看出,500进程并发处理这1000条数据只耗费5秒钟。而按照原来的串行模式,处理每条数据即使只耗费最短的1秒钟,也需要1000秒,约合16分钟才能完成。