beanstalkd消息队列的使用【转】

初次学习 转载自http://my.oschina.net/u/698121/blog/157092 感谢博主

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

最近在做一个项目，需要用户在提交相关信息后，分析信息内容，然后将分析结果推送到相关的用户的信息模块中，用到了beanstalk这个队列系统。 

beanstalkd介绍：

Beanstalkd，一个高性能、轻量级的分布式内存队列系统，最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟，支持过有9.5 million用户的Facebook Causes应用。后来开源，现在有PostRank大规模部署和使用，每天处理百万级任务。Beanstalkd是典型的类Memcached设计，协议和使用方式都是同样的风格，所以使用过memcached的用户会觉得Beanstalkd似曾相识。

Beanstalkd设计里面的核心概念：

◆ job

一个需要异步处理的任务，是Beanstalkd中的基本单元，需要放在一个tube中。

◆ tube

一个有名的任务队列，用来存储统一类型的job，是producer和consumer操作的对象。

◆ producer

Job的生产者，通过put命令来将一个job放到一个tube中。

◆ consumer

Job的消费者，通过reserve/release/bury/delete命令来获取job或改变job的状态。

Beanstalkd中一个job的生命周期如图所示。一个job有READY, RESERVED, DELAYED, BURIED四种状态。当producer直接put一个job时，job就处于READY状态，等待consumer来处理，如果选择延迟put，job就先到DELAYED状态，等待时间过后才迁移到READY状态。consumer获取了当前READY的job后，该job的状态就迁移到RESERVED，这样其他的consumer就不能再操作该job。当consumer完成该job后，可以选择delete, release或者bury操作;delete之后，job从系统消亡，之后不能再获取;release操作可以重新把该job状态迁移回READY(也可以延迟该状态迁移操作)，使其他的consumer可以继续获取和执行该job;有意思的是bury操作，可以把该job休眠，等到需要的时候，再将休眠的job kick回READY状态，也可以delete BURIED状态的job。正是有这些有趣的操作和状态，才可以基于此做出很多意思的应用，比如要实现一个循环队列，就可以将RESERVED状态的job休眠掉，等没有READY状态的job时再将BURIED状态的job一次性kick回READY状态。

特性：

◆ 优先级

支持0到2**32的优先级，值越小，优先级越高，默认优先级为1024。

◆ 持久化

可以通过binlog将job及其状态记录到文件里面，在Beanstalkd下次启动时可以通过读取binlog来恢复之前的job及状态。

◆ 分布式容错

分布式设计和Memcached类似，beanstalkd各个server之间并不知道彼此的存在，都是通过client来实现分布式以及根据tube名称去特定server获取job。

◆ 超时控制

为了防止某个consumer长时间占用任务但不能处理的情况，Beanstalkd为reserve操作设置了timeout时间，如果该consumer不能在指定时间内完成job，job将被迁移回READY状态，供其他consumer执行。

 下载：

服务端：http://kr.github.io/beanstalkd/download.html

客户端：https://github.com/kr/beanstalkd/wiki/client-libraries

安装：

ubuntu 

sudo apt-get install beanstalkd

centos 

yum install beanstalkd

源码安装 

?

1 2 3 4 5

tar -zxvf /usr/bin/beanstalkd/beanstalkd-1 .9. tar .gz   cd beanstalkd   make install PERFIX= /usr/bin/beanstalkd

后台启动：

beanstalkd -l 地址 -p 端口号 -z 最大的任务大小(byte) -c &

如果是外部客户端连接，ip地址要写外网地址，这样才能连接上

启动选项

 -b DIR   wal directory

 -f MS    fsync at most once every MS milliseconds (use -f0 for "always fsync")
 -F       never fsync (default)
 -l ADDR  listen on address (default is 0.0.0.0)
 -p PORT  listen on port (default is 11300)
 -u USER  become user and group
 -z BYTES set the maximum job size in bytes (default is 65535)
 -s BYTES set the size of each wal file (default is 10485760)
            (will be rounded up to a multiple of 512 bytes)
 -c       compact the binlog (default)
 -n       do not compact the binlog
 -v       show version information
 -V       increase verbosity
 -h       show this help

php客户端的使用：我使用的是这个简易的类 https://github.com/davidpersson/beanstalk

发送任务：

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

<?php //发送任务   require_once 'src/Socket/Beanstalk.php' ;   //实例化beanstalk $beanstalk = new Socket_Beanstalk( array (      'persistent' => false, //是否长连接      'host' => 'ip地址' ,      'port' => 11600,  //端口号默认11300      'timeout' => 3    //连接超时时间 ));   if (! $beanstalk ->connect()) {      exit (current( $beanstalk ->errors())); } //选择使用的tube $beanstalk ->useTube( 'test' ); //往tube中增加数据 $put = $beanstalk ->put(      23, // 任务的优先级.      0,  // 不等待直接放到ready队列中.      60, // 处理任务的时间.      'hello, beanstalk' // 任务内容 );   if (! $put ) {      exit ( 'commit job fail' ); }   $beanstalk ->disconnect();

 处理任务：

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55

<?php require_once 'src/Socket/Beanstalk.php' ; //实例化beanstalk $beanstalk = new Socket_Beanstalk( array (      'persistent' => false, //是否长连接      'host' => 'ip地址' ,      'port' => 11600,  //端口号默认11300      'timeout' => 3    //连接超时时间 ));   if (! $beanstalk ->connect()) {      exit (current( $beanstalk ->errors())); } //查看beanstalkd状态 //var_dump($beanstalk->stats());   //查看有多少个tube //var_dump($beanstalk->listTubes());   $beanstalk ->useTube( 'test' );   //设置要监听的tube $beanstalk ->watch( 'test' );   //取消对默认tube的监听，可以省略 $beanstalk ->ignore( 'default' );   //查看监听的tube列表 //var_dump($beanstalk->listTubesWatched());   //查看test的tube当前的状态 //var_dump($beanstalk->statsTube('test'));     while (true) {      //获取任务，此为阻塞获取，直到获取有用的任务为止      $job = $beanstalk ->reserve(); //返回格式array('id' => 123, 'body' => 'hello, beanstalk')        //处理任务      $result = doJob( $job [ 'body' ]);        if ( $result ) {          //删除任务          $beanstalk -> delete ( $job [ 'id' ]);      } else {          //休眠任务          $beanstalk ->bury( $job [ 'id' ]);      }      //跳出无限循环      if ( file_exists ( 'shutdown' )) {          file_put_contents ( 'shutdown' , 'beanstalkd在' . date ( 'Y-m-d H:i:s' ). '关闭' );          break ;      } } $beanstalk ->disconnect();