PHP利用Gearman来处理并行多进程问题

最新推荐文章于 2021-03-21 18:20:48 发布

大鹏的世界

最新推荐文章于 2021-03-21 18:20:48 发布

阅读量2.9k

点赞数 1

分类专栏：多线程分布式任务处理 PHP 负载均衡

PHP 同时被 3 个专栏收录

81 篇文章 0 订阅

订阅专栏

负载均衡

12 篇文章 0 订阅

订阅专栏

分布式任务处理

5 篇文章 0 订阅

订阅专栏

最近工作中开发的一套系统，其中很多都是需要操作多服务器的，比如需要同时发布数据到2000个服务器上，或者同时向2000个服务器拉取数据。刚开始的解决方案就是单纯用PHP的curl_multi的方式并发处理请求，而且参考了淘宝技术博客的《Rolling cURL: PHP并发最佳实践》，但是由于网络和数据以及各个服务器等等的一些情况导致这种并发处理的响应时间很慢，因为在并发请求的过程中还包括记录日志，处理数据等逻辑，等待处理结果并返回，所以也不能友好的满足后台操作的体验。

现在重新设计一种方案，利Gearman来实现并发的需求。通过Client将请求发送到Gearman的Jobs，在每个Work中来再来进行curl_multi和数据处理和日志等一些操作，同时用Supervisor来监控Gearman以及Works的进程，这样可以实现一个并行的多进程和负载均衡的方案。

Gearman可以做什么

异步处理:图片处理,订单处理,批量邮件/通知之类的
要求高CPU或内存的处理:大容量的数据处理,MapReduce运算,日志聚集,视频编码
分布式和并行的处理
定时处理:增量更新,数据复制
限制速率的FIFO处理
分布式的系统监控任务

Gearman工作原理
使用Gearman的应用通常有三部分组成：一个Client、一个Worker、一个任务服务器。 Client的作用是提出一个 Job 任务交给 Job Server 任务服务器。Job Server 会去寻找一个合适的 Worker 来完成这项任务。Worker 执行由 Client 发送过来的 Job，并且将结果通过 Job Server 返回给 Client。Gearman 提供了 Client 和 Worker 的 API，利用这些API 应用可以同 Gearman Job Server来进行通信。Gearman 内部 Client 和 Worker 之间的通信都是通过 TCP 连接来进行的。

Gearman可以将工作的负载分担到不同的机器中。

安装配置
我只是记录下我安装配置的过程，我在Ubuntu和CentOS中都试了下。
CentOS YUM 安装

`1`	`rpm -ivh http://dl.iuscommunity.org/pub/ius/stable/Redhat/6/x86_64/epel-release-6-5.noarch.rpm`

`2`	`yuminstall-y gearmand`

Ubuntu apt 安装

`1`	`apt-getinstallgearman`

源码编译

 
yuminstalluuid-devel libuuid libuuid-devel uuid boost-devel libevent libevent-devel
 
wget -c  https://launchpad.net/gearmand/1.2/1.1.7/+download/gearmand-1.1.7.tar.gz
 
tarzxvf gearmand-1.1.7.tar.gz
 
./configure --prefix=/usr/local/gearmand
 
make&&makeinstall

安装好以后启动

`1`	`gearmand -d`

加上-d参数是表示后台运行，你可以gearmand -h 来查看其它的选项，启动的时候带上其它配置参数

 
    1 /usr/sbin/gearmand --pid-file=/var/run/gearman/gearmand.pid --user=gearman --daemon --log-file=/var/log/gearman-job-server/gearman.log --listen=127.0.0.1

安装PHP Gearman扩展
我都是用pcel来安装的，你也可以下载源码包来编译安装，但是记得要先安装libgearman和re2c，不然扩展编译安装会出错。

 
peclinstallgearman#不成功并提示版本问题可以试试 pecl install gearman-1.0.3，默认好像是1.1.2
 
1
 
编译安装也很简单
 
1
 
wget -c  http://pecl.php.net/get/gearman-1.1.1.tgz
 
tarzxvf gearman-1.1.1.tgz
 
phpize
 
./configure
 
make&&makeinstall
 
echo"extension=gearman.so">> /etc/php.ini

PHP接口函数
Gearman提供很多完善的扩展函数，包括GearmanClient,GearmanJob,GearmanTask,GearmanWorker,具体可以查看PHP官方手册.
这是官方提供的Example其中的一个，相当与一个并发的分发任务处理的例子
gearman_client.php

 
<?php
 
 
 
$client=newGearmanClient();
 
$client->addServer();
 
 
 
// initialize the results of our 3 "query results" here
 
$userInfo=$friends=$posts= null;
 
 
 
// This sets up what gearman will callback to as tasks are returned to us.
 
// The $context helps us know which function is being returned so we can
 
// handle it correctly.
 
$client->setCompleteCallback(function(GearmanTask$task,$context)use(&$userInfo, &$friends, &$posts) {
 
switch($context)
 
{
 
case'lookup_user':
 
$userInfo=$task->data();
 
break;
 
case'baconate':
 
$friends=$task->data();
 
break;
 
case'get_latest_posts_by':
 
$posts=$task->data();
 
break;
 
}
 
});
 
 
 
// Here we queue up multiple tasks to be execute in *as much* parallelism as gearmand can give us
 
$client->addTask('lookup_user','joe@joe.com','lookup_user');
 
$client->addTask('baconate','joe@joe.com','baconate');
 
$client->addTask('get_latest_posts_by','joe@joe.com','get_latest_posts_by');
 
 
 
echo"Fetching...\n";
 
$start= microtime(true);
 
$client->runTasks();
 
$totaltime= number_format(microtime(true) - $start, 2);
 
 
 
echo"Got user info in: $totaltime seconds:\n";
 
var_dump($userInfo,$friends,$posts);

gearman_work.php

 
<?php
 
 
 
$worker=newGearmanWorker();
 
$worker->addServer();
 
 
 
$worker->addFunction('lookup_user',function(GearmanJob$job) {
 
// normally you'd so some very safe type checking and query binding to a database here.
 
// ...and we're gonna fake that.
 
sleep(3);
 
return'The user requested ('  . $job->workload() . ') is 7 feet tall and awesome';
 
});
 
 
 
$worker->addFunction('baconate',function(GearmanJob$job) {
 
sleep(3);
 
return'The user ('  . $job->workload() . ') is 1 degree away from Kevin Bacon';
 
});
 
 
 
$worker->addFunction('get_latest_posts_by',function(GearmanJob$job) {
 
sleep(3);
 
return'The user ('  . $job->workload() . ') has no posts, sorry!';
 
});
 
 
 
while($worker->work());

我在3个终端中都执行了gearman_work.php

 
ryan@ryan-lamp:~$psaux | grepgearman* | grep-vgrep
 
gearman 1504 0.0 0.1 60536 1264 ? Ssl 11:06 0:00 /usr/sbin/gearmand --pid-file=/var/run/gearman/gearmand.pid --user=gearman --daemon --log-file=/var/log/gearman-job-server/gearman.log --listen=127.0.0.1
 
ryan 2992 0.0 0.8 43340 9036 pts/0 S+ 14:05 0:00 php /var/www/gearmand_work.php
 
ryan 3713 0.0 0.8 43340 9036 pts/1 S+ 14:05 0:00 php /var/www/gearmand_work.php
 
ryan 3715 0.0 0.8 43340 9036 pts/2 S+ 14:05 0:00 php /var/www/gearmand_work.php

来查看下执行gearman_work.php的结果shell

 
Fetching...
 
Got user info in: 3.03 seconds:
 
string(59)"The user requested (joe@joe.com) is 7 feet tall and awesome"
 
string(56)"The user (joe@joe.com) is 1 degree away from Kevin Bacon"
 
string(43)"The user (joe@joe.com) has no posts, sorry!"

看到上面的3.03 seconds，说明client请求过去的任务被并行分发执行了。
在实际的生产环境中，为了监测gearmand和work的进程没有被意外退出，我们可以借助Supervisor这个工具，下次我再单独来写个Supervisor的笔记。

########################

准备工作已经完毕，试验开始
1、启动job
gearmand -d

2、启动worker
php -c /etc/php5/apache2/php.ini worker.php

3、启动client（新开终端中打开）
php -c /etc/php5/apache2/php.ini client.php

屏幕显示字符串的长度 “5”

这里，有几点需要说明一下：
1、这里直接用php cli方式运行，添加-c参数是为了加载php.ini配置文件，以加载gearman扩展
2、worker应该做成守护进程（CLI模式），可以开启多个，这样client发起的任务就会分发到各个worker分别来执行（自动负载均衡）
这个例子由于太过简单，即使开启多个worker也无法看出效果，不过可以通过终止其中一个，可以看出系统自动切换到其他worker继续正常执行
3、同理，client也是可以开启多个的（模型请参考之前的那边日志）

4、同时，job也可以开启多个，以避免单点故障

########################################################################

从上图可以看出，gearman支持的特性：

1.高可用

启动两个job server，他们是独立的服务进程，有各自的内存队列。当一个job server进程出现故障，另一个job server可以正常调度。（worker api与client api可以完成job server故障的切换）。在任何时候我们可以关闭某个worker，即使那个worker正在处理工作任务（Gearman不会让正在被执行的job丢失的，由于worker在工作时与Job server是长连接，所以一旦worker发生异常，Job server能够迅速感知并重新派发这个异常worker刚才正在执行的工作）

2.负载均衡（附gearman协议会详细解释）

job server并不主动分派工作任务，而是由worker从空闲状态唤醒之后到job server主动抓取工作任务。

3.可扩展

松耦合的接口和无状态的job，只需要启动一个worker，注册到Job server集群即可。新加入的worker不会对现有系统有任何的影响。

4.分布式

gearman是分布式的任务分发框架，worker与job server，client与job server通信基于tcp的socket连接。

5.队列机制

gearman内置内存队列，默认情况队列最大容量为300W，可以配置最大支持2^32-1，即4 294 967 295。

6.高性能

作为Gearman的核心，Job server的是用C/C++实现的，由于只是做简单的任务派发，因此系统的瓶颈不会出在Job server上。