Gearman worker:
<?php
/*
* Tochange this license header, choose License Headers in Project Properties.
* Tochange this template file, choose Tools | Templates
* and openthe template in the editor.
*/
$worker= new GearmanWorker();
$worker->addServer('127.0.0.1', 4730);
$worker->addFunction("title", "title_function");
while($worker->work());
functiontitle_function($job)
{
returnucwords(strtolower($job->workload()));
}
Gearman proudocuter:
$client=new GearmanClient();
$client->addServer('127.0.0.1', 4730);
print$client->doNormal("title", "AlL THE World's a sTagE");
print"\n";
php –ini
后台运行:php -c/usr/local/fastphp/lib/php.ini /var/html/redis/worker.php &
查看 php.ini文件
问题:Fatal error:Class 'GearmanWorker' not found in /var/html/redis/worker.php on line 9
分析:
Php.ini无法加载。所以gearmanworker扩展没有连上php。
Cli 执行php.ini 方式
php -c /usr/local/fastphp/lib/php.ini
php-fpm:
php-fpm –c /usr/local/fastphp/lib/php.ini 否则无法加载php.ini
kill -INT `cat /usr/local/php/var/run/php-fpm.pid` 关闭php-fpm
2)php-fpm 重启:
# kill -USR2 `cat /usr/local/php/var/run/php-fpm.pid`
Gearmand启动:
gearmand -d -u root //-d 后台方式
kill-USR2 724
Mysql 中用select执行函数
SELECT gman_servers_set('127.0.0.1:4730')
Select 4*8
Select mod(1,3)
/usr/local/sbin/gearmand
对应的配置文件为/usr/lib64
Mysql:
/usr/local/mysql/bin
对应的配置文件:
/usr/local/mysql/lib
ERROR 1126 (HY000): Can't open sharedlibrary 'libgearman_mysql_udf.so' (errno: 11 libgearman.so.7: cannot openshared object file: No such file or directory)
原因:共享的很多文件都在/usr/lib64中
解决:
ln -s /usr/local/lib/libgearman.so.7/usr/lib64/libgearman.so.7
一、redis简介
Redis是一个key-value存储系统。和Memcached类似,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。在部分场合可以对关系数据库起到很好的补充作用。它提供了Java,C/C++(hiredis),C#,PHP,JavaScript,Perl,Object-C,Python,Ruby等客户端,使用很方便。
二、架构图
大致结构就是读写分离,将mysql中的数据通过触发器同步到redis中
三、安装LNMP环境(这里为了省事,就是用yum来安装)
1、修改yum源
1 | [root@redis ~]# vim /etc/yum.repos.d/epel.repo #添加这个文件 |
2、yum安装
1 | [root@redis ~]# yum -y install nginx php php-fpm php-cli php-common php-gd php-mbstring php-mysql php-pdo php-devel php-xmlrpc php-xml php-bcmath php-dba php-enchant mysql mysql-server |
3、简单配置一下nginx
1 | [root@redis ~]# vim /etc/nginx/nginx.conf |
4、启动服务
1 | [root@redis ~]# sed -i 's/apache/nginx/g' /etc/php-fpm.d/www.conf |
5、给mysql授权
1 | [root@redis ~]# mysql |
6、测试
1 | [root@redis ~]# vim /www/index.php |
然后访问页面看到php的相关信息,基础环境就算搭建完成了。
四、安装redis
1、安装redis
1 | [root@redis ~]# wget -c -t 0 http://download.redis.io/releases/redis-2.8.19.tar.gz |
Redis-benchmark 压力测试工具
Redis-check-aof 检查redis持久化命令文件的完整性
Redis-check-dump 检查redis持久化数据文件的完整性
Redis-cli redis在linux上的客户端
Redis-sentinel redis-sentinel是集群管理工具,主要负责主从切换。
Redis-server Redis服务器的daemon启动程序
2、安装php的redis扩展
1 | [root@redis ~]# wget -c -t 0 https://github.com/owlient/phpredis/archive/master.zip |
3、是否安装成功
还是访问phpinfo的那个界面
看到这个就是安装完成了。
五、读写分离
这里只是简单的做了一下读,没有写操作的相关代码,过一会测试,直接到数据库里执行update来模拟写操作。
1、在mysql中插入一些测试数据
1 | [root@redis ~]# mysql -u root -p123456 |
2、编写php的测试代码
1 | <?php |
第一次访问,redis中没有对应的KEY时
再次访问,此时redis中已有相关数据
到这里,我们已经实现了redis作为mysql的缓存服务器,但是如果更新了mysql,redis中仍然会有对应的KEY,数据就不会更新,此时就会出现mysql和redis数据不一致的情况。所以接下来就要通过mysql触发器将改变的数据同步到redis中。
六、通过gearman实现同步
1、介绍
Gearman是一个支持分布式的任务分发框架:
Gearman Job Server:Gearman核心程序,需要编译安装并以守护进程形式运行在后台。
Gearman Client:可以理解为任务的请求者。
Gearman Worker:任务的真正执行者,一般需要自己编写具体逻辑并通过守护进程方式运行,Gearman Worker接收到Gearman Client传递的任务内容后,会按顺序处理。
大致流程:
下面要编写的mysql触发器,就相当于Gearman的客户端。修改表,插入表就相当于直接下发任务。然后通过lib_mysqludf_json UDF库函数将关系数据映射为JSON格式,然后在通过gearman-mysql-udf插件将任务加入到Gearman的任务队列中,最后通过redis_worker.php,也就是Gearman的worker端来完成redis数据库的更新。
2、安装启动
1 | [root@redis ~]# yum -y install gearmand libgearman-devel |
3、安装php的gearman扩展
1 | [root@redis ~]# wget -c -t 0 https://pecl.php.net/get/gearman-1.1.1.tgz |
这样就是安装成功了
4、安装lib_mysqludf_json
lib_mysqludf_json UDF库函数将关系数据映射为JSON格式。通常,数据库中的数据映射为JSON格式,是通过程序来转换的。
1 | [root@redis ~]# wget -c -t 0 https://github.com/mysqludf/lib_mysqludf_json/archive/master.zip |
5、安装gearman-mysql-udf
这个插件是用来管理调用 Gearman 的分布式的队列。
1 | [root@redis ~]# wget -c -t 0 https://launchpad.net/gearman-my ... ysql-udf-0.6.tar.gz |
6、编写mysql触发器(根据实际情况编写)
1 | DELIMITER $$ |
7、编写gearman的worker端
1 | [root@redis ~]# vim /www/redis_worker.php $worker->addServer('127.0.0.1', 4730); |
"$redis->set($work->id,$work->name);"这条语句就是将id作KEY和name作VALUE分开存储,需要和前面写的php测试代码的存取一致。
8、更新mysql中的数据
1 | mysql> set @RECV = 1; |
从返回值可以看到,触发器是触发成功的(这里的@RECV是上面mysql TIGGER的返回值)。我们在redis中查看数据:
1 | [root@redis redis]# ./redis-cli |
这里的数据居然没有变化,这是我们就要排错了。
1 | [root@redis ~]# vim /var/log/audit/audit.log |
设置完成以后,再次执行update,进入redis进行查看
1 | 127.0.0.1:6379> get 1 |
刷新一下刚刚的php界面
到这里就基本算是大功告成了,只要application将数据写到mysql中,mysql触发器检测到更新,就会通过Gearman将数据同步到redis中。然后读取的话,就直接从redis中进行读取。当然这只是个实验环境,实际上还有很多细节要调整。
参考文章:http://avnpc.com/pages/mysql-replication-to-redis-by-gearman
好文章:
Gearman的介绍
主页在http://gearman.org/index.php, 它的主要优点有:
1. 实现了异步计算。可以将比较耗时的计算分配到分布式计算集群来减少站点服务器的压力和用户的等待。例如passport里的邮件发送/头像上传裁减/国内外数据分离请求等等。
2. 跨语言,有利于多语言多系统之间的集成。PHP/Perl/Java/C++可以融合在一起,用Perl实现的邮件发送功能PHP也能自由调用,也可以使用Perl调用另一台服务器上用C++编写的程序的一个函数。
3. 便于扩展和实现负载均衡。可以通过增加worker的数量来提供更好的性能,在其中一台出现问题的时候能够由其他的worker来完成任务。
4. 开源
5. 快速: 利用了c最小化的减少了系统开销。
Gearman的安装配置
1.安装Gearman serverand library:
wget http://launchpad.net/gearmand/tr ...gearmand-0.8.tar.gz
tar zxf gearmand-0.8.tar.gz
cd gearmand-0.8
./configure
make
make install
2.安装Gearman PHPextension:
wget http://pecl.php.net/get/gearman-0.4.0.tgz
tar zxf gearman-0.4.0.tgz
cd gearman-0.4.0
phpize
./configure
make
make install
3.编辑php.ini配置文件加载相应模块并使之生效:
extension = "gearman.so"
4.启动Job:
gearmand -d
如果当前用户是root的话,则需要这样操作:
gearmand -d -u root
缺省会使用4730端口,下面会用到。
以调试的方式启动:
gearmand -vv
5.编写Worker:
worker.php文件内容如下:
<?php
$worker= new GearmanWorker();
$worker->addServer('127.0.0.1', 4730);
$worker->addFunction('reverse', 'my_reverse_function');
while ($worker->work());
function my_reverse_function($job)
{
returnstrrev($job->workload());
}
?>
设置后台运行work:
php worker.php &
6.编写Client:
client.php文件内容如下:
<?php
$client= new GearmanClient();
$client->addServer('127.0.0.1', 4730);
echo $client->do('reverse', 'Hello World!'), "/n";
?>
运行client:
php client.php
输出:!dlroW olleH
可能遇到的问题
[xhtml] view plaincopy
1. Couldn't find uuid/uuid.h
解决办法:在新立得里搜索并安装uuid-dev。
[xhtml] view plaincopy
1. gearmand: error while loading shared libraries: libgearman.so.1: cannot open shared object file: No such file or directory
libgearman.so一般是在 /usr/local/lib下,看看/etc/ld.so.conf是否包含这个目录,执行/sbin/ldconfig -v刷新一下。
[xhtml] view plaincopy
1. Fatal error: Class 'GearmanWorker' not found
是否在cli的php.ini下加入“extension="gearman.so"”这一行配置。
Gearman与Perl
安装Gearman模块,使用Gearman::Worker和Gearman::Client模块即可。
具体编码方式可参考cpan。
需要注意的是$client->do_task()方法返回的是一个reference。
下面是例子。
worker.pl
[php] view plaincopy
1. use Gearman::Worker;
2. my $worker = Gearman::Worker->new;
3. $worker->job_servers('127.0.0.1:4730');
4. $worker->register_function("reverse", /&test);
5. $worker->work while 1;
6.
7. sub test {
8. return join(' ', $_[0]->handle, $_[0]->arg, 'world', "/n");
9. }
client.pl
[php] view plaincopy
1. use Gearman::Client;
2. my $client = Gearman::Client->new;
3. $client->job_servers('127.0.0.1:4730');
4.
5. # running a single task
6. my $result = $client->do_task("reverse", "hello"); # return a scalar reference
7. print $$result;
Gearman异步模式的实现
在Perl的Gearman::Client模块里已经实现了异步的方法,采用dispatch_background时client请求不会等待worker的响应就立即返回了。