mysql 触发器 gearman_实现mysql和redis之间的触发数据同步——mysql 触发器+gearman+php.worker...

博博理财

于 2021-02-27 12:57:05 发布

阅读量138

点赞数

文章标签： mysql 触发器 gearman

本文链接：https://blog.csdn.net/weixin_30646903/article/details/114812369

版权

上回一次我们已经实现了 redis 作为 mysql 的缓存服务器,但是如果更新了 mysql,redis

中仍然会有对应的 KEY,数据就不会更新,此时就会出现 mysql 和 redis 数据不一致的情

况。

所以接下来就要通过 mysql 触发器将改变的数据同步到 redis 中。

因为mysql和redis数据格式不同,不能实现直接同步,所以

将MySQL数据首先放入Gearman中，然后通过一个自己编写的PHP Gearman Worker，将数据同步到Redis。

Gearman 是一个支持分布式的任务分发框架:

Gearman Job Server: Gearman 核心程序,需要编译安装并以守护进程形式运行在后台。

Gearman Client:可以理解为任务的请求者。

Gearman Worker:任务的真正执行者,一般需要自己编写具体逻辑并通过守护进程方式运行.

Gearman Worker 接收到 Gearman Client 传递的任务内容后,会按顺序处理。

大致流程:

1)下面要编写的 mysql 触发器,就相当于 Gearman 的客户端。

2)修改表,插入表就相当于直接下发任务。

3)再通过 lib_mysqludf_json UDF 库函数将关系数据映射为 JSON 格式

4)再通过 gearman-mysql-udf 插件将任务加入到 Gearman 的任务队列中

5)最后通过redis_worker.php,也就是 Gearman 的 worker 端来完成 redis 数据库的更新。

详细配置见下文...

server12(lnmp)

php装载gearman插件//yum install rubygems-1.3.7-5.el6.noarch.rpm -y

cd /mnt/redis/

yum install libgearman-* lib* -y

yum install gearmand-1.1.8-2.el6.x86_64.rpm -y

tar zxf gearman-1.1.2.tgz

cd gearman-1.1.2

phpize #进入预编译环境

./configure

make && make install

ls /usr/lib64/php/modules #查看当前模块

cd /etc/php.d/

cp mysql.ini gearman.ini

vim gearman.ini

2 extension=gearman.so/etc/init.d/php-fpm restart

查看gearman模块是否添加成功.

查看mysql redis gearman 模块是否都添加成功...[[email protected] php.d]# php -m |grep gearman

gearman

[[email protected] php.d]# php -m |grep mysql

mysql

mysqli

pdo_mysql

[[email protected] php.d]# php -m |grep redis

redis

vim worker.php1 <?php

2 $worker = new GearmanWorker();

3 $worker->addServer();

4 $worker->addFunction(‘syncToRedis‘, ‘syncToRedis‘);

6 $redis = new Redis();

7 $redis->connect(‘172.25.88.13‘, 6379); #redis数据库所在的主机IP

9 while($worker->work());

10 function syncToRedis($job)

11 {

12 global $redis;

13 $workString = $job->workload();

14 $work = json_decode($workString);

15 if(!isset($work->id)){

16 return false;

17 }

18 $redis->set($work->id, $work->name);

19 }

20 ?>[[email protected] redis]# nohup php worker.php &>/dev/null & #不间断地运行命令。

[[email protected] redis]# ps ax

1361 pts/0 S 0:00 php worker.php

[[email protected] php.d]# /etc/init.d/gearmand start

Starting gearmand: [ OK ]

[[email protected] php.d]# netstat -antlpue |grep 4730

tcp 0 0 0.0.0.0:4730 0.0.0.0:* LISTEN 495 17787 3594/gearmand

tcp 0 0 :::4730 :::* LISTEN 495 17788 3594/gearmand

server11:数据库

生成libgearman_mysql_udf模块

这个插件是用来管理调用 Gearman 的分布式的队列。

yum install mysql-devel -y

tar zxf gearman-mysql-udf-0.6.tar.gz

yum install lib* -y

[[email protected] redis]# ll lib*

-rw-r--r-- 1 root root 67428 Apr 2 21:43 libevent-1.4.13-4.el6.x86_64.rpm

-rw-r--r-- 1 root root 75620 Apr 2 21:43 libevent-devel-1.4.13-4.el6.x86_64.rpm

-rw-r--r-- 1 root root 198408 Apr 2 21:43 libevent-doc-1.4.13-4.el6.noarch.rpm

-rw-r--r-- 1 root root 30460 Apr 2 21:43 libevent-headers-1.4.13-4.el6.noarch.rpm

-rw-r--r-- 1 root root 71272 Apr 2 21:43 libgearman-1.1.8-2.el6.x86_64.rpm

-rw-r--r-- 1 root root 219472 Apr 2 21:43 libgearman-devel-1.1.8-2.el6.x86_64.rpm

./configure --with-mysql=/usr/bin/mysql_config --libdir=/usr/lib64/mysql/plugin/

make && make install

-> ‘libgearman_mysql_udf.so‘;

Query OK, 0 rows affected (0.00 sec)

mysql> CREATE FUNCTION gman_servers_set RETURNS STRING SONAME

-> ‘libgearman_mysql_udf.so‘;

Query OK, 0 rows affected (0.00 sec)

mysql> select * from mysql.func;

+--------------------+-----+-------------------------+----------+

| name | ret | dl | type |

+--------------------+-----+-------------------------+----------+

+--------------------+-----+-------------------------+----------+

2 rows in set (0.00 sec)

生成lib_mysqludf_json.so模块

lib_mysqludf_json UDF 库函数将关系数据映射为 JSON 格式。通常,数据库中的数据映

射为 JSON 格式,是通过程序来转换的.

[[email protected] lib_mysqludf_json-master]# gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c

[[email protected] lib_mysqludf_json-master]# ls

lib_mysqludf_json.c lib_mysqludf_json.so README.md

lib_mysqludf_json.html lib_mysqludf_json.sql

[[email protected] lib_mysqludf_json-master]# cp lib_mysqludf_json.so /usr/lib64/mysql/plugin/

-> ‘lib_mysqludf_json.so‘;

Query OK, 0 rows affected (0.00 sec)

mysql> select * from mysql.func;

+--------------------+-----+-------------------------+----------+

| name | ret | dl | type |

+--------------------+-----+-------------------------+----------+

+--------------------+-----+-------------------------+----------+

3 rows in set (0.00 sec)

编写 mysql 触发器

vim test.sqlDELIMITER $$

CREATE TRIGGER datatoredis AFTER UPDATE ON test FOR EACH ROW BEGIN

SET @RECV=gman_do_background(‘syncToRedis‘, json_object(NEW.id as `id`, NEW.name as `name`));

END$$

DELIMITER ;

[[email protected] redis]# mysql < test.sql

查看触发器mysql> SHOW TRIGGERS FROM test;

| datatoredis | UPDATE | test | BEGIN

SET @RECV=gman_do_background(‘syncToRedis‘, json_object(NEW.id as `id`, NEW.name as `name`));

+-------------+--------+-------+--------------------------------------------------

指定 gearman 的服务信息mysql> select gman_servers_set(‘172.25.88.12:4730‘); #gearman所在的主机

+---------------------------------------+

| gman_servers_set(‘172.25.88.12:4730‘) |

+---------------------------------------+

| 172.25.88.12:4730 |

+---------------------------------------+

1 row in set (0.00 sec)

server13(redis):

简单配置保证redis服务开启即可.

详细配置移步:

检验

server11：

mysql> update test.test set name =‘ddd‘ where id =3;

server12：

[[email protected] redis]# redis-cli

127.0.0.1:6379> get 3 "ddd"

更新mysql数据库的值,也能实时同步到redis中,并被客户端获取

客户端:

浏览器访问 http://172.25.88.12/

本文出自 “12049878” 博客，谢绝转载！

原文：http://12059878.blog.51cto.com/12049878/1913989

博博理财

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
mysql 触发器 gearman_实现mysql和redis之间的触发数据同步——mysql 触发器+gearman+php.worker...

上回一次我们已经实现了 redis 作为 mysql 的缓存服务器,但是如果更新了 mysql,redis中仍然会有对应的 KEY,数据就不会更新,此时就会出现 mysql 和 redis 数据不一致的情况。所以接下来就要通过 mysql 触发器将改变的数据同步到 redis 中。因为mysql和redis数据格式不同,不能实现直接同步,所以将MySQL数据首先放入Gearman中，然后通过一个自...
复制链接

扫一扫