关于多线程和多进程之间的区别和比较:
一个进程必须至少有一个线程, 也可以是多个线程.
一般运行一个程序称为一个进程。
进程可以创建线程,也可以创建进程。
线程是由进程管理的,线程之间、线程和父进程(创建线程的进程)之间可以共享内存变量(需要使用策略的)。
进程之间一般不可以直接共享内存变量,需要使用一些进程间的控制共享内存变量。
维度 | 多进程 | 多线程 | 总结 |
数据共享、同步 | 数据是分开的:共享复杂,需要用IPC;同步简单 | 多线程共享进程数据:共享简单;同步复杂 | 各有优势 |
内存、CPU | 占用内存多,切换复杂,CPU利用率低 | 占用内存少,切换简单,CPU利用率高 | 线程占优 |
创建销毁、切换 | 创建销毁、切换复杂,速度慢 | 创建销毁、切换简单,速度快 | 线程占优 |
编程调试 | 编程简单,调试简单 | 编程复杂,调试复杂 | 进程占优 |
可靠性 | 进程间不会相互影响 | 一个线程挂掉将导致整个进程挂掉 | 进程占优 |
分布式 | 适应于多核、多机分布 ;如果一台机器不够,扩展到多台机器比较简单 | 适应于多核分布 | 进程占优 |
=============
PHP多进程可以利用PCNTL扩展的pcntl_fork等函数实现, 这里引用一篇zhangyan 的文章利用系统脚本实现的多进程:
最近遇到一个问题,Linux下的PHP命令行程序作为守护进程,需要从队列文件中读一行数据,通过TCP协议发送给外地的接收服务器,再读下一行数据,再发送。当本地与外地的网络状况不好时,有时候发送一条数据所耗费的时间就较长,累积起来容易造成队列堵塞和延迟。
于是,我准备用该PHP命令行程序生成多个子进程,将串行处理变成并行处理。最简单的方法就是在PHP中用exec()或popen()函数将一个shell命令行推到后台去执行,例如:
exec("/bin/sh /opt/zhangyan.sh &");
?>
但是这样会有一个问题,如果推到后台的进程太多,可能会导致服务器系统资源耗尽而崩溃,所以必须控制进程数量。
我写了一个PHP程序(/opt/zhangyan.php)、一个shell程序(/opt/zhangyan.sh)作为测试用例。
程序的逻辑:
1、设置/opt/zhangyan.php最多允许生成500个子进程;
2、当/opt/zhangyan.php读取到一条数据后,将允许生成的子进程数减1(空闲进程数$p_number=500-1=499),然后将数据交给/opt/zhangyan.sh去后台处理,不等待/opt/zhangyan.sh处理结束,继续读取下一条数据;
3、当允许生成的子进程数减至0时(空闲进程数$p_number=0),/opt/zhangyan.php会等待1秒钟,然后检查后台还有多少个/opt/zhangyan.sh子进程尚未处理结束;
4、如果1秒钟之后/opt/zhangyan.php发现后台的/opt/zhangyan.sh子进程数还是500(空闲进程数$p_number=0),会继续等待1秒钟,如此反复;
5、如果/opt/zhangyan.php发现后台尚未处理结束的/opt/zhangyan.sh子进程数减少到300个了(空闲进程数$p_number=500-300=200),那么/opt/zhangyan.php会再往后台推送200个/opt/zhangyan.sh子进程;
/opt/zhangyan.php代码如下:
- <?php
- function run($input)
- {
- global $p_number;
- if ($p_number <= 0)
- {
- $p_number = worker_processes($p_number);
- }
- $p_number = $p_number - 1;
- $out = popen("/bin/sh /opt/zhangyan.sh \"{$input}\" &", "r");
- pclose($out);
- }
- function worker_processes($p_number)
- {
- $limit = 500;//允许推到后台的最大进程数
- while ($p_number <= 0)
- {
- $cmd = popen("ps -ef | grep \"/opt/zhangyan.sh\" | grep -v grep | wc -l", "r");
- $line = fread($cmd, 512);
- pclose($cmd);
- $p_number = $limit - $line;
- if ($p_number <= 0)
- {
- sleep(1);//暂停1秒钟
- }
- }
- return $p_number;
- }
- $input = "http://blog.s135.com"; //模拟从队列文件中读取到的数据
- for ($i = 1; $i <= 1000; $i++)
- {
- run($input);
- echo "Idle process number: " . $p_number . "\n";
- }
- ?>
/opt/zhangyan.sh代码如下:
- #!/bin/sh
- echo $(date -d "today" +"%Y-%m-%d %H:%M:%S") $1 >> /opt/zhangyan.log
- sleep_time=$(expr $RANDOM % 4 + 1)
- sleep $sleep_time
执行程序:
(/usr/local/php/bin/php因PHP解析器所在的路径)
查看/opt/zhangyan.sh打下的日志文件的第一行和最后一行:
可以看出,500进程并发处理这1000条数据只耗费5秒钟。而按照原来的串行模式,处理每条数据即使只耗费最短的1秒钟,也需要1000秒,约合16分钟才能完成。
PS:将PHP程序作为Linux守护进程的方法:
(nohup命令可以在用户退出终端后仍然执行程序,“2>&1 > /dev/null”表示不显示标准输出和错误输出,最后的&表示推到后台执行。)