php使用gearman进行任务分发

一、安装gearman

下载gearman源码包

1	https: //launchpad.net/gearmand/+download

如: gearmand-1.1.12.tar.gz

下载php的gearman扩展包

1	http: //pecl.php.net/package/gearman

如: gearman-1.1.2.tgz

安装gearman

1 2 3 4 5

> yum install boost-devel gperf libevent-devel libuuid-devel > tar xf gearmand-1.1.12.tar.gz > cd gearmand-1.1.12 > ./configure > make && make install

安装gearman的php扩展(建议php版本不要过高，因为php7的gearman扩展目前还没有出来)

1 2 3 4 5 6

> yum install autoconf > tar xf gearman-1.1.2.tgz > cd gearman-1.1.2 > /data/php56/bin/phpize > ./configure --with-php-config=/data/php56/bin/php-config > make && make install

修改php.ini

1	> vi /data/php56/lib/php.ini

添加如下两项

1 2	extension_dir=/data/php56/lib/php/extensions/no-debug-zts-20131226/ extension=gearman.so

查看扩展

1	> /data/php56/bin/php -m

　　

二、简单的使用gearman

gearman中请求的处理过程一般涉及三种角色：client->job->worker
其中client是请求的发起者
job是请求的调度者，用于把客户的请求分发到不同的worker上进行工作
worker是请求的处理者

比如这里我们要处理client向job发送一个请求，来计算两个数之和，job负责调度worker来具体实现计算两数之和。

首先我们编写client.php

1 2 3 4 5 6 7 8 9 10 11 12

<?php //创建一个客户端 $client  =  new  GearmanClient(); //添加一个job服务 $client ->addServer( '127.0.0.1' , 4730); //doNormal是同步的，等待worker处理完成返回结果 //建议不要使用do()了 $ret  =  $client ->doNormal( 'sum' , serialize( array (10, 10)));   if ( $ret ) {      echo  '计算结果:' ,  $ret ,  "\n" ; }

再编写worker.php

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

<?php //创建一个worker $worker  =  new  GearmanWorker(); //添加一个job服务 $worker ->addServer( '127.0.0.1' , 4730); //注册一个回调函数，用于业务处理 $worker ->addFunction( 'sum' ,  function ( $job ) {      //workload()获取客户端发送来的序列化数据      $data  = unserialize( $job ->workload());        return  $data [0] +  $data [1]; });   //死循环 while (true) {      //等待job提交的任务      $ret  =  $worker ->work();      if  ( $worker ->returnCode() != GEARMAN_SUCCESS) {          break ;      } }

我们先启动gearmand服务

1 2	>  mkdir  -p /usr/local/ var /log > gearmand -d

运行worker文件

1	> /data/php56/bin/php /data/worker.php

再运行client文件

1	> /data/php56/bin/php /data/client.php

结果如下：

 

三、gearman异步的处理任务

这里我们client向job发送一个发送邮件的请求，不等待请求完成，继续向下执行。

client.php代码如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

<?php //创建一个客户端 $client  =  new  GearmanClient(); //添加一个job服务 $client ->addServer( '127.0.0.1' , 4730); //doBackground异步，返回提交任务的句柄 $ret  =  $client ->doBackground( 'sendEmail' , json_encode( array (      'email'  =>  'test@qq.com' ,      'title'  =>  '测试异步' ,      'body'  =>  '异步执行好牛B的样子' , )));   //继续执行下面的代码 echo  "我的内心毫无波动，甚至还想笑\n" ;   do  {      sleep(1);        //获取任务句柄的状态      //jobStatus返回的是一个数组      //第一个，表示工作是否已经知道      //第二个，工作是否在运行      //第三和第四，分别对应完成百分比的分子与分母      $status  =  $client ->jobStatus( $ret );            echo  "完成情况：{$status[2]}/{$status[3]}\n" ;        if (! $status [1]) {          break ;      } }  while (true);

worker.php代码如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

<?php //创建一个worker $worker  =  new  GearmanWorker(); //添加一个job服务 $worker ->addServer( '127.0.0.1' , 4730); //注册一个回调函数，用于业务处理 $worker ->addFunction( 'sendEmail' ,  function ( $job ) {      //workload()获取客户端发送来的序列化数据      $data  = json_decode( $job ->workload(), true);      //模拟发送邮件所用时间      sleep(6);      echo  "发送{$data['email']}邮件成功\n" ; });   //死循环 //等待job提交的任务 while ( $worker ->work());

结果如下：

 

四、gearman并行的执行多个任务

我们如何并行的计算两个数的累加和? 通过addTask添加多个任务到队列，然后进行并行计算。

client.php代码如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

<?php //创建一个客户端 $client  =  new  GearmanClient(); //添加一个job服务 $client ->addServer( '127.0.0.1' , 4730); //设置任务完成时的回调函数 $client ->setCompleteCallback( function ( $task ) {      //获取由worker返回的数据      echo  $task ->data(),  "\n" ; });   //计算1到500的累加和 //添加五个任务到队列 $client ->addTask( 'sum' , json_encode( array (1, 100))); $client ->addTask( 'sum' , json_encode( array (100, 200))); $client ->addTask( 'sum' , json_encode( array (200, 300))); $client ->addTask( 'sum' , json_encode( array (300, 400))); $client ->addTask( 'sum' , json_encode( array (400, 500)));   //运行队列中的任务，do系列不需要runTask() $client ->runTasks();

worker.php代码如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

<?php //创建一个worker $worker  =  new  GearmanWorker(); //添加一个job服务 $worker ->addServer( '127.0.0.1' , 4730); //注册一个回调函数，用于业务处理 $worker ->addFunction( 'sum' ,  function ( $job ) {      //workload()获取客户端发送来的序列化数据      $data  = json_decode( $job ->workload(), true);      sleep(1);      $sum  = 0;      for ( $ix  =  $data [0];  $ix  <  $data [1]; ++ $ix ) {          $sum  +=  $ix ;      }      return  $sum ; });   //死循环 //等待job提交的任务 while ( $worker ->work());

我们开启5个worker工作进程，当运行客户端请求时，5个计算任务几乎是同时返回结果。

结果如下：