redis实现mysql的数据缓存

环境设定
base2 172.25.78.12 nginx+php
base3 172.25.78.13 redis端
base4 172.25.78.14 mysql端
1.在base2(nginx+php)上
配置nginx和php(这里的nginx只是提供了负载均衡，所以版本要求不高)
[root@base2 ~]# killall redis-server
[root@base2 ~]# ls
gearmand-1.1.12-18.el7.x86_64.rpm
php-fpm-5.4.16-46.el7.x86_64.rpm
libevent-devel-2.0.21-4.el7.x86_64.rpm
php-mysql-5.4.16-46.el7.x86_64.rpm
libgearman-1.1.12-18.el7.x86_64.rpm
php-pdo-5.4.16-46.el7.x86_64.rpm
libgearman-devel-1.1.12-18.el7.x86_64.rpm
php-pecl-gearman-1.1.2-1.el7.x86_64.rpm
libzip-0.10.1-8.el7.x86_64.rpm
php-pecl-igbinary-1.2.1-1.el7.x86_64.rpm
openssl-1.0.2k-16.el7.x86_64.rpm
php-pecl-redis-2.2.8-1.el7.x86_64.rpm
openssl-libs-1.0.2k-16.el7.x86_64.rpm
php-process-5.4.16-46.el7.x86_64.rpm
php-cli-5.4.16-46.el7.x86_64.rpm
php-xml-5.4.16-46.el7.x86_64.rpm
php-common-5.4.16-46.el7.x86_64.rpm

[root@base2 ~]# yum install -y *.rpm # 安装php

注：当服务器上有openssl-devel开发包时，会有冲突，所以要先删除
[root@base2 ~]# tar zxf nginx-1.14.2.tar.gz
[root@base2 ~]# cd nginx-1.14.2
[root@base2 nginx-1.14.2]# vim auto/cc/gcc
171 # debug
172 #CFLAGS="$CFLAGS -g"
[root@base2 nginx-1.14.2]# vim src/core/nginx.h
14 #define NGINX_VER “nginx/”
[root@base2 nginx-1.14.2]# ./configure --prefix=/usr/local/nginx
[root@base2 nginx-1.14.2]# make && make install
[root@base2 ~]# cd /usr/local/nginx/conf/
[root@base2 conf]# vim nginx.conf
location / {
root html;
index index.php index.html index.htm;
}

location ~ \.php$ {
    root           html;
    fastcgi_pass   127.0.0.1:9000;
    fastcgi_index  index.php;
   #fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
    include        fastcgi.conf;
}

[root@base2 conf]# ln -s /usr/local/nginx/sbin/nginx /sbin
[root@base2 conf]# nginx -t
[root@base2 conf]# nginx # 开启nginx服务
[root@base2 conf]# vim /etc/php.ini
878 date.timezone =Asia/Shanghai
[root@base2 conf]# vim /etc/php-fpm.d/www.conf
39 user = nginx
41 group = nginx
[root@base2 conf]# systemctl start php-fpm
[root@base2 conf]# systemctl status php-fpm # 开启php服务

[root@base2 conf]# netstat -antlp # 查看php的端口

nginx服务搭建成功

[root@base2 conf]# cd /usr/local/nginx/html/
[root@base2 html]# vim index.php # 编写php网页，测试php

<?php phpinfo() ?>

php配置成功

[root@server1 html]# vim index.php # 重新编写php页面，把redis服务器和mysql服务器建立练习

<?php $redis = new Redis(); $redis->connect('172.25.78.13',6379) or die ("could net connect redis server"); # 这是redis服务器 # $query = "select * from test limit 9"; $query = "select * from test"; for ($key = 1; $key < 10; $key++) { if (!$redis->get($key)) { $connect = mysql_connect('172.25.78.14','redis','redhat'); # 这是数据库服务器，用户以及密码 mysql_select_db(test); $result = mysql_query($query); //如果没有找到$key,就将该查询sql的结果缓存到redis while ($row = mysql_fetch_assoc($result)) { $redis->set($row['id'],$row['name']); } $myserver = 'mysql'; break; } else { $myserver = "redis"; $data[$key] = $redis->get($key); } } echo $myserver; echo "
"; for ($key = 1; $key < 10; $key++) { echo "number is $key"; echo "
"; echo "name is $data[$key]"; echo "
"; }  2.redis服务端 [root@base3 ~]# tar zxf redis-5.0.3.tar.gz [root@base3 ~]# cd redis-5.0.3 [root@base3 redis-5.0.3]# yum install gcc -y [root@base3 redis-5.0.3]# make && make install [root@base3 redis-5.0.3]# cd utils/ [root@base3 utils]# ./install_server.sh  [root@base3 utils]# vim /etc/redis/6379.conf 70 bind 0.0.0.0 [root@base3 ~]# systemctl restart redis_6379 [root@base3 ~]# redis-cli 127.0.0.1:6379> info replication  [root@base3 ~]# netstat -antlp  3.mysql服务端 [root@base4 ~]# yum install -y mariadb-server [root@base4 ~]# systemctl start mariadb [root@base4 ~]# mysql_secure_installation   [root@base4 ~]# mysql -p Enter password: MariaDB [(none)]> show databases;  MariaDB [(none)]> create database test; MariaDB [(none)]> grant all on test.* to redis@'%' identified by 'redhat'; MariaDB [(none)]> flush privileges; MariaDB [(none)]> quit Bye [root@base4 ~]# vim test.sql use test; CREATE TABLE `test` (`id` int(7) NOT NULL AUTO_INCREMENT, `name` char(8) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8; # 在test数据库里创建表 INSERT INTO `test` VALUES (1,'test1'),(2,'test2'),(3,'test3'),(4,'test4'),(5,'test5'),(6,'test6'),(7,'test7'),(8,'test8'),(9,'test9'); # 给表里添加内容 [root@base4 ~]# mysql -predhat < test.sql [root@base4 ~]# mysql -p Enter password: MariaDB [(none)]> select * from test.test;  测试 这是mysql服务器通过php页面利用redis缓存来显示数据库中的内容  但是有一个问题，mysql更新后，redis无法同步 MariaDB [(none)]> use test; MariaDB [test]> update test set name='lala' where id=1; MariaDB [test]> select * from test.test;  [root@base3 ~]# redis-cli # 发现redis服务器并没有同步mysql上的数据  2.gearman 实现redis和mysql的数据同步 Gearman 是一个支持分布式的任务分发框架: Gearman Job Server: Gearman 核心程序,需要编译安装并以守护进程形式运行在后台。 Gearman Client:可以理解为任务的请求者。 Gearman Worker:任务的真正执行者,一般需要自己编写具体逻辑并通过守护进程方式 运行,Gearman Worker 接收到 Gearman Client 传递的任务内容后,会按顺序处理。 大致流程:下面要编写的 mysql 触发器,就相当于 Gearman 的客户端。修改表,插入表就相当于直接 下发任务。然后通过 lib_mysqludf_json UDF 库函数将关系数据映射为 JSON 格式,然后 在通过 gearman-mysql-udf 插件将任务加入到 Gearman 的任务队列中,最后通过 redis_worker.php,也就是 Gearman 的 worker 端来完成 redis 数据库的更新。 [root@base2 ~]# systemctl start gearmand [root@base2 ~]# netstat -antlp  安装 php 的 gearman 扩展，安装 lib_mysqludf_json，lib_mysqludf_json UDF 库函数将关系数据映射为 JSON 格式。通常,数据库中的数据映射为 JSON 格式,是通过程序来转换的。 [root@base4 ~]# ls lib_mysqlud_json-master.zip [root@base4 ~]# yum install -y unzip [root@base4 ~]# unzip lib_mysqludf_json-master.zip [root@base4 ~]# cd lib_mysqludf_json-master [root@base4 lib_mysqludf_json-master]# yum install -y gcc [root@base4 lib_mysqludf_json-master]# yum list mariadb-devel  [root@base4 lib_mysqludf_json-master]# yum install -y mariadb-devel.x86_64 [root@base4 lib_mysqludf_json-master]# gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c [root@base4 ~]# cp lib_mysqludf_json-master/lib_mysqludf_json.so /usr/lib64/mysql/plugin/ [root@base4 lib_mysqludf_json-master]# cd /usr/lib64/mysql/ [root@base4 ~]# cd /usr/lib64/mysql/plugin/ [root@base4 plugin]# mysql -p Enter password: MariaDB [(none)]> show global variables like 'plugin_dir'; # 查看 mysql 的模块目录:  MariaDB [(none)]> CREATE FUNCTION json_object RETURNS STRING SONAME 'lib_mysqludf_json.so'; # 注册 UDF 函数 MariaDB [(none)]> select * from mysql.func;  MariaDB [(none)]> quit Bye 安装 gearman-mysql-udf，这个插件是用来管理调用 Gearman 的分布式的队列。 [root@base4 ~]# ls gearman-mysql-udf-0.6.tar.gz [root@base4 ~]# cd gearman-mysql-udf-0.6 [root@base4 gearman-mysql-udf-0.6]# ./configure --with-mysql=/usr/bin/mysql_config --libdir=/usr/lib64/mysql/plugin/ # 有报错，依赖性没解决完  [root@base4 gearman-mysql-udf-0.6]# cd [root@base4 ~]# yum install -y libgearman-devel-1.1.12-18.el7.x86_64.rpm libevent-devel-2.0.21-4.el7.x86_64.rpm libgearman-1.1.12-18.el7.x86_64.rpm # 解决依赖性 [root@base4 ~]# cd gearman-mysql-udf-0.6 [root@base4 gearman-mysql-udf-0.6]# ./configure --with-mysql=/usr/bin/mysql_config --libdir=/usr/lib64/mysql/plugin/ [root@base4 gearman-mysql-udf-0.6]# make && make install [root@base4 gearman-mysql-udf-0.6]# mysql -p Enter password: 注册 UDF 函数 MariaDB [(none)]> CREATE FUNCTION gman_do_background RETURNS STRING SONAME 'libgearman_mysql_udf.so'; MariaDB [(none)]> CREATE FUNCTION gman_servers_set RETURNS STRING SONAME 'libgearman_mysql_udf.so'; MariaDB [(none)]> select * from mysql.func; # 查看函数  MariaDB [(none)]> SELECT gman_servers_set('172.25.78.12:4730'); # 指定 gearman 的服务信息  编写 mysql 触发器(根据实际情况编写) [root@base4 gearman-mysql-udf-0.6]# cd [root@base4 ~]# vim test.sql use test; DELIMITER $$ CREATE TRIGGER datatoredis AFTER UPDATE ON test FOR EACH ROW BEGIN SET @RECV=gman_do_background('syncToRedis', json_object(NEW.id as `id`, NEW.name as `name`)); END$$ DELIMITER ;  [root@base4 ~]# mysql -predhat < test.sql [root@base4 ~]# mysql -p Enter password: MariaDB [(none)]> SHOW TRIGGERS FROM test\G; # 查看触发器  在base2上，编写 gearman 的 worker 端 [root@base2 ~]# cd /usr/local/ [root@base2 local]# vim worker.php <?php $worker = new GearmanWorker(); $worker->addServer(); $worker->addFunction('syncToRedis', 'syncToRedis'); $redis = new Redis(); $redis->connect('172.25.78.13', 6379); while($worker->work()); function syncToRedis($job) { global $redis; $workString = $job->workload(); $work = json_decode($workString); if(!isset($work->id)){ return false; } $redis->set($work->id, $work->name); # 这条语句就是将 id 作 KEY 和name 作 VALUE 分开存储,需要和前面写的 php 测试代码的存取一致。 } ?>

[root@base2 ~]# nohup php /usr/local/worker.php &> /dev/null &

3.测试：
在mysql端（base4）更新 mysql 中的数据
MariaDB [test]> update test set name=‘lala’ where id=1;
MariaDB [test]> update test set name=‘lala’ where id=2;
MariaDB [test]> update test set name=‘lala’ where id=3;
MariaDB [test]> select * from test;

在redis端（base3）查看是否同步成功

刷新测试页面数据同步