gearman异步队列安装及使用教程

72 篇文章 0 订阅
3 篇文章 0 订阅

性能
• 以下测试数值为虚拟机
• 常规HTTP的Curl:这个受端口最大值及打开文件句柄数限制
• 当使用HTTP Curl时
• 同步:2000/sec

• Gearman:未优化情况下
• 用PHP+gearman揑件测试并发批量调用:
• 同步:4000/sec
• 异步:10000/sec
• 以上还有上升空间,官方测试数据为5w/sec
• 增加持久化揑件设置后性能会下降一些

gearman异步队列安装流程


必备条件:你的centos需要提前安装了lnmp,如果没有安装可以参照教程:
http://blog.csdn.net/e421083458/article/details/21083051
http://blog.csdn.net/e421083458/article/details/21089901

基础安装包
yum install vim wget gcc gcc-c++ make dos2unix gperf libevent libevent-devel zlib-devel bzip2-devel openssl-devel ncurses-devel    boost boost-devel mysql-devel


安装gearman 异步队列
# wget https://launchpad.net/gearmand/1.2/1.1.9/+download/gearmand-1.1.9.tar.gz
# tar -zxvf gearmand-1.1.9.tar.gz
# cd gearmand-1.1.9
# ./configure   如果出现错误请查看下面的错误解决



成功后如下
* LIBS:                      
* LDFLAGS Flags:             
* Assertions enabled:        no
* Debug enabled:             no
* Warnings as failure:       no
* Building with libsqlite3   no
* Building with libdrizzle   no
* Building with libmemcached not found
* Building with libpq        no
* Building with tokyocabinet no
* Building with libmysql     yes
* SSL enabled:               no
* make -j:                   3
* VCS checkout:              no



#  make
#  make install




安装gearman php 扩展

# wget http://pecl.php.net/get/gearman
# mv gearman gearman.tar.gz
# tar -zxvf gearman.tar.gz
# cd gearman-1.1.2/
# phpize
# ./configure
# make
# make install
# cd /etc/php.d/
# cp gd.ini gearman.ini
# vim gearman.ini

; Enable gearman extension module
extension=gearman.so

# service php-fpm restart


错误解决

在configure过程中出现了以下错误:
checking for Boost headers version >= 1.39.0… no
configure: error: cannot find Boost headers version >= 1.39.0


解决办法:
# yum search boost
# yum install boost.x86_64
# yum install boost-devel.x86_64



继续执行./configure出现以下错误

checking for gperf... no
configure: error: could not find gperf



解决办法:
#yum search gperf
#yum install gperf.x86_64



继续执行./configure出现以下错误
checking test for a working libevent... no
configure: error: Unable to find libevent


解决办法:
# yum install libevent libevent-devel





gearman 参数说明
Client mode: gearman [options] [<data>]
Worker mode: gearman -w [options] [<command> [<args> ...]]

Common options to both client and worker modes.
    -f <function> - Function name to use for jobs (can give many)
    -h <host>     - Job server host
    -H            - Print this help menu
    -v            - Print diagnostic information to stdout(false)
    -p <port>     - Job server port
    -t <timeout>  - Timeout in milliseconds
    -i <pidfile>  - Create a pidfile for the process

Client options:
    -b            - Run jobs in the background(false)
    -I            - Run jobs as high priority
    -L            - Run jobs as low priority
    -n            - Run one job per line(false)
    -N            - Same as -n, but strip off the newline(false)
    -P            - Prefix all output lines with functions names
    -s            - Send job without reading from standard input
    -u <unique>   - Unique key to use for job

Worker options:
    -c <count>    - Number of jobs for worker to run before exiting
    -n            - Send data packet for each line(false)
    -N            - Same as -n, but strip off the newline(false)
    -w            - Run in worker mode(false) 

    

gearman异步队列使用:


下面先做个命令行测试:

首先开两个命令行窗口:
tty1:
# gearman -w -f abc  -- wc  -m


表示统计用户输入了多少个字符。
tty2:
# gearman -f abc 'aaaa'


4
输出结果正确。
# gearman -f abc < /etc/php.ini


当然也可以直接从文件中读入内容。
 
下面使用php做同步列队测试:

# vi /var/www/html/company/gearman/worker.php


只要能保证nginx能访问到就可以
<?php
$worker= new GearmanWorker();
$worker->addServer('127.0.0.1', 4730); //连接job服务器
$worker->addFunction('reverse', 'my_reverse_function');  //注册支持任务及对应函数

while ($worker->work());    //循环等待任务,没有时阻塞,循环体内可以放错误处理
//work内尽量不要出现资源忘记回收情况
//处理任务的回调函数

function my_reverse_function($job)
{
    $workload = $job->workload();   //过来的参数
    $result = strrev($workload);    //运算
    $content = file_get_contents("http://www.google.com");    //加大运算时间
    
    //加入执行日志
    $file = fopen("worker_counter.log","a+");
    fwrite($file,date("Y-m-d H:i:s")."\n");
    //fwrite($file,var_export($job,TRUE)."\n");
    fwrite($file,$workload."\n");
    fwrite($file,$result."\n");
    fclose($file);
    
    return $result;                    //返回给调用方的数据
}
?>

保存退出
# vi /var/www/html/company/gearman/client.php


只要能保证nginx能访问到就可以
<?php
try{
    $client= new GearmanClient();
    $client->addServer('127.0.0.1', 4730);
    echo $client->do('reverse', 'You can do it.'), "\n";
}catch(Exception $e){
    print_r($e);
}
?>

保存退出

使用tty1运行worker
# php worker.php

使用tty2运行client
# php client.php
.ti od nac uoY

输出结果正确

使用浏览器运行client
http://192.168.252.128/company/gearman/client.php
.ti od nac uoY
输出结果正确


下面使用php做异步列队测试:
# vi /var/www/html/company/gearman/worker.php


只要能保证nginx能访问到就可以

<?php
$worker= new GearmanWorker();
$worker->addServer('127.0.0.1', 4730);
$worker->addFunction('reverse', 'my_reverse_function');

while ($worker->work());

function my_reverse_function($job)
{
    $workload = $job->workload();
    $result = strrev($workload);
    $content = file_get_contents("http://www.google.com");    //加大运算时间
    
    //加入执行日志
    $file = fopen("worker_counter.log","a+");
    fwrite($file,date("Y-m-d H:i:s")."\n");
    //fwrite($file,var_export($job,TRUE)."\n");
    fwrite($file,$workload."\n");
    fwrite($file,$result."\n");
    fclose($file);
    
    return $result;
}
?>



保存退出

# vi /var/www/html/company/gearman/client.php
只要能保证nginx能访问到就可以

<?php
try{
    $client= new GearmanClient();
    $client->addServer('127.0.0.1', 4730);
    echo $client->doBackground('reverse', 'You can do it.'), "\n";    //异步只是派发任务,不等待返回结果
}catch(Exception $e){
    print_r($e);
}
?>



保存退出

使用tty1运行worker
# php worker.php



使用tty2查看执行效果
# tail -f /var/www/html/company/gearman/worker_counter.log




使用tty3运行client
# php client.php
H:localhost:150


表示该操作列队中,我可以在tty2中实时查看到效果
2014-03-15 06:08:16
You can do it.
.ti od nac uoY



使用浏览器运行client
http://192.168.252.128/company/gearman/client.php
H:localhost:153
表示该操作列队中,我可以在tty2中实时查看到效果
2014-03-15 06:09:44
You can do it.
.ti od nac uoY



我们看到了client不管执行任何操作,都会立即得到一个列队ID,剩余的操作交给了worker。
    
详细使用参考文档:
http://wenku.baidu.com/link?url=YDJGOfRtZ9ySNsYqggK6lPhFqaSCsRb9NskUVE5jwpECH7qR58lyY7m3rutAEq1l2Ma--mOHe-o5YE0oJSSTUd16jcABeSwJNdu4V14N16a

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

e421083458

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值