redis构建mysql缓存_搭建redis给mysql做缓存

安装redis的前提是lnmp或者lamp的环境已经搭建完成。

安装redis

1、安装redis(或可以选择yum安装)1

2

3

4

5

6

7

8

9

10

11

12[root@redis ~]# wget -c -t 0 http://download.redis.io/releases/redis-2.8.19.tar.gz

[root@redis ~]# mkdir /usr/local/redis

[root@redis ~]# tar xvf redis-2.8.19.tar.gz

#安装很简单、直接make就可以了

[root@redis ~]# cd redis-2.8.19

[root@redis redis-2.8.19]# make

#编译完成后，将src中的可执行文件拷贝到刚刚创建的目录中

[root@redis src]# cp redis-benchmark redis-check-aof redis-check-dump redis-cli redis-sentinel redis-server /usr/local/redis/

[root@redis redis-2.8.19]# cp redis.conf sentinel.conf /usr/local/redis/

Redis-benchmark      压力测试工具

Redis-check-aof      检查redis持久化命令文件的完整性

Redis-check-dump     检查redis持久化数据文件的完整性

Redis-cli            redis在linux上的客户端

Redis-sentinel       redis-sentinel是集群管理工具,主要负责主从切换。

Redis-server         Redis服务器的daemon启动程序

2、安装php的redis扩展1

2

3

4

5

6

7

8

9

10

11

12

13

14

15[root@redis ~]# wget -c -t 0 https://github.com/owlient/phpredis/archive/master.zip

[root@redis ~]# unzip master.zip

[root@redis ~]# cd phpredis-master/

[root@redis phpredis-master]# phpize

[root@redis phpredis-master]# ./configure --with-php-config=/usr/bin/php-config

[root@redis phpredis-master]# make && make install

#修改php的配置文件，如果没有“extension=redis.so”，就加上这一行

[root@redis ~]# vim /etc/php.ini

extension=redis.so

[root@redis ~]# /etc/init.d/php-fpm restart

停止 php-fpm：                                             [确定]

正在启动 php-fpm：                                         [确定]

3、是否安装成功

还是访问phpinfo的那个界面

看到这个就是安装完成了。

五、读写分离

这里只是简单的做了一下读，没有写操作的相关代码，过一会测试，直接到数据库里执行update来模拟写操作。

1、在mysql中插入一些测试数据1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18[root@redis ~]# mysql -u root -p123456

mysql> create database mytest;

mysql> CREATE TABLE `test` (`id` int(7) NOT NULL AUTO_INCREMENT, `name` char(8) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;

mysql> INSERT INTO `test` VALUES (1,'sven'),(2,'jim'),(3,'zhu'),(4,'wang'),(5,'ftd'),(6,'test'),(7,'test01'),(8,'test02'),(9,'test03');

mysql> select * from mytest.test;

+----+--------+

| id | name   |

+----+--------+

|  1 | sven   |

|  2 | jim    |

|  3 | zhu    |

|  4 | wang   |

|  5 | ftd    |

|  6 | test   |

|  7 | test01 |

|  8 | test02 |

|  9 | test03 |

+----+--------+

2、编写php的测试代码 ##可以直接在html下创建1.php复制下面代码，修改mysql连接地址进行测试1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40<?php

$redis = new Redis();

$redis->connect('127.0.0.1',6379) or die ("could net connect redis server");

$query = "select * from test limit 8";

//为了简单一点，这里就读取了8条数据

for ($key = 1; $key 

{

if (!$redis->get($key))

{

$connect = mysql_connect('127.0.0.1','root','123456');

mysql_select_db(mytest);

$result = mysql_query($query);

//如果没有找到$key,就将该查询sql的结果缓存到redis

while ($row = mysql_fetch_assoc($result))

{

$redis->set($row['id'],$row['name']);

}

$myserver = 'mysql';

break;

}

else

{

$myserver = "redis";

$data[$key] = $redis->get($key);

}

}

echo $myserver;

echo "
";

for ($key = 1; $key 

{

echo "number is $key";

echo "
";

echo "name is $data[$key]";

echo "
";

}

?>

第一次访问，redis中没有对应的KEY时

再次访问，此时redis中已有相关数据

到这里，我们已经实现了redis作为mysql的缓存服务器，但是如果更新了mysql，redis中仍然会有对应的KEY，数据就不会更新，此时就会出现mysql和redis数据不一致的情况。所以接下来就要通过mysql触发器将改变的数据同步到redis中。

六、通过gearman实现同步

1、介绍

Gearman是一个支持分布式的任务分发框架：

Gearman Job Server：Gearman核心程序，需要编译安装并以守护进程形式运行在后台。

Gearman Client：可以理解为任务的请求者。

Gearman Worker：任务的真正执行者，一般需要自己编写具体逻辑并通过守护进程方式运行，Gearman Worker接收到Gearman Client传递的任务内容后，会按顺序处理。

大致流程：

下面要编写的mysql触发器，就相当于Gearman的客户端。修改表,插入表就相当于直接下发任务。然后通过lib_mysqludf_json UDF库函数将关系数据映射为JSON格式，然后在通过gearman-mysql-udf插件将任务加入到Gearman的任务队列中，最后通过redis_worker.php，也就是Gearman的worker端来完成redis数据库的更新。

2、安装启动      (也可以选择yum安装)如果是yum安装要安装如下几个包

1

2

3

4

5[root@redis ~]# yum -y install gearmand libgearman-devel

[root@redis ~]# /etc/init.d/gearmand start

正在启动 gearmand：                                        [确定]

[root@redis ~]# /etc/init.d/gearmand status

gearmand (pid  7702) 正在运行...

3、安装php的gearman扩展1

2

3

4

5

6

7

8

9

10

11

12

13

14

15[root@redis ~]# wget -c -t 0 https://pecl.php.net/get/gearman-1.1.1.tgz

[root@redis ~]# tar xvf gearman-1.1.1.tgz

[root@redis ~]# cd gearman-1.1.1

[root@redis gearman-1.1.1]# phpize

[root@redis gearman-1.1.1]# ./configure --with-php-config=/usr/bin/php-config

[root@redis gearman-1.1.1]# make

[root@redis gearman-1.1.1]# make install

#如果php的配置文件中没有extension = gearman.so，就加上此行

[root@redis ~]# vim /etc/php.ini

extension = gearman.so

[root@redis ~]# /etc/init.d/php-fpm restart

停止 php-fpm：                                             [确定]

正在启动 php-fpm：                                         [确定]

这样就是安装成功了

4、安装lib_mysqludf_json

lib_mysqludf_json UDF库函数将关系数据映射为JSON格式。通常，数据库中的数据映射为JSON格式，是通过程序来转换的。1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27[root@redis ~]# wget -c -t 0 https://github.com/mysqludf/lib_mysqludf_json/archive/master.zip

[root@redis ~]# unzip master.zip

[root@redis ~]# cd lib_mysqludf_json-master/

[root@redis lib_mysqludf_json-master]# gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c

lib_mysqludf_json.c:40:23: 错误：my_global.h：没有那个文件或目录

lib_mysqludf_json.c:41:20: 错误：my_sys.h：没有那个文件或目录

lib_mysqludf_json.c:43:19: 错误：mysql.h：没有那个文件或目录

lib_mysqludf_json.c:44:21: 错误：m_ctype.h：没有那个文件或目录

lib_mysqludf_json.c:45:22: 错误：m_string.h：没有那个文件或目录

#这里编译报错是因为没有安装mysql的开发包，如果是源码安装的mysql，需要在/etc/ld.so.conf.d/

#目录下新建一个文件告诉系统mysql的头文件在哪里

[root@redis lib_mysqludf_json-master]# yum -y install mysql-devel

[root@redis lib_mysqludf_json-master]# gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c

mysql> show global variables like 'plugin_dir';

+---------------+-------------------------+

| Variable_name | Value                   |

+---------------+-------------------------+

| plugin_dir    | /usr/lib64/mysql/plugin |

+---------------+-------------------------+

#将模块拷贝到插件目录下

[root@redis lib_mysqludf_json-master]# cp lib_mysqludf_json.so /usr/lib64/mysql/plugin/

#注册UDF函数

mysql> CREATE FUNCTION json_object RETURNS STRING SONAME 'lib_mysqludf_json.so';

5、安装gearman-mysql-udf

这个插件是用来管理调用 Gearman 的分布式的队列。1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24[root@redis ~]# wget -c -t 0 https://launchpad.net/gearman-mysql-udf/trunk/0.6/+download/gearman-mysql-udf-0.6.tar.gz

[root@redis ~]# tar xvf gearman-mysql-udf-0.6.tar.gz

[root@redis ~]# cd gearman-mysql-udf-0.6

[root@redis gearman-mysql-udf-0.6]# ./configure --with-mysql=/usr/bin/mysql_config --libdir=/usr/lib64/mysql/plugin/

[root@redis gearman-mysql-udf-0.6]# make

[root@redis gearman-mysql-udf-0.6]# make install

#注册UDF函数

mysql> CREATE FUNCTION gman_do_background RETURNS STRING SONAME 'libgearman_mysql_udf.so';

mysql> CREATE FUNCTION gman_servers_set RETURNS STRING SONAME 'libgearman_mysql_udf.so';

#查看函数

mysql> select * from mysql.func;

+--------------------+-----+-------------------------+----------+

| name               | ret | dl                      | type     |

+--------------------+-----+-------------------------+----------+

| json_object        |   0 | lib_mysqludf_json.so    | function |

| gman_do_background |   0 | libgearman_mysql_udf.so | function |

| gman_servers_set   |   0 | libgearman_mysql_udf.so | function |

+--------------------+-----+-------------------------+----------+

#指定gearman的服务信息

mysql> SELECT gman_servers_set('127.0.0.1:4730');

6、编写mysql触发器(根据实际情况编写)1

2

3

4

5DELIMITER $$

CREATE TRIGGER datatoredis AFTER UPDATE ON test FOR EACH ROW BEGIN

SET @RECV=gman_do_background('syncToRedis', json_object(NEW.id as `id`, NEW.name as `name`));

END$$

DELIMITER ;

7、编写gearman的worker端1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24[root@redis ~]# vim /www/redis_worker.php

$worker = new GearmanWorker();

$worker->addServer();

$worker->addFunction('syncToRedis', 'syncToRedis');

$redis = new Redis();

$redis->connect('127.0.0.1', 6379);

while($worker->work());

function syncToRedis($job)

{

global $redis;

$workString = $job->workload();

$work = json_decode($workString);

if(!isset($work->id)){

return false;

}

$redis->set($work->id, $work->name);

}

?>

#后台运行

[root@redis www]# nohup php redis_worker.php &

"$redis->set($work->id, $work->name);"这条语句就是将id作KEY和name作VALUE分开存储，需要和前面写的php测试代码的存取一致。

8、更新mysql中的数据1

2

3

4

5

6

7

8

9

10

11

12

13

14mysql> set @RECV = 1;

mysql> select @RECV;

+------+

| @RECV|

+------+

|    1 |

+------+

mysql> update test set name = 'ssss' where id = 1;

mysql> select @RECV;

+------+

| @RECV|

+------+

| NULL |

+------+

从返回值可以看到，触发器是触发成功的(这里的@RECV是上面mysql TIGGER的返回值)。我们在redis中查看数据：1

2

3[root@redis redis]# ./redis-cli

127.0.0.1:6379> get 1

"sven"

这里的数据居然没有变化，这是我们就要排错了。1

2

3

4

5

6

7

8

9

10

11[root@redis ~]# vim /var/log/audit/audit.log

type=AVC msg=audit(1427807674.425:107): avc:  denied  { name_connect } for  pid=12453 comm="mysqld" dest=4730 scontext=unconfined_u:system_r:mysqld_t:s0 tcontext=system_u:o

bject_r:port_t:s0 tclass=tcp_socket

#看到这样一条日志，就知道是selinux阻止了同步

#现在将selinux的模式调成Permissive

[root@redis ~]# getenforce

Enforcing

[root@redis ~]# setenforce 0

[root@redis ~]# getenforce

Permissive

设置完成以后，再次执行update，进入redis进行查看1

2127.0.0.1:6379> get 1

"ssss"

刷新一下刚刚的php界面

到这里就基本算是大功告成了，只要application将数据写到mysql中，mysql触发器检测到更新，就会通过Gearman将数据同步到redis中。然后读取的话，就直接从redis中进行读取。当然这只是个实验环境，实际上还有很多细节要调整。

七、GitHub上的一个有意思的工具

地址：https://github.com/delano/redis-dump

这个工具是用备份的redis的，也许你会问redis有自己的持久化，要这个工具干嘛？

redis的自带的持久化具有局限性，假象我们需要redis回到过去的某个时刻去(回档)。redis自带的持久化要实现这个需求，办法就是不断的将dump文件或者aof文件移动到其他目录中去，不然它就会被新的持久化文件覆盖。

而这个工具，就可以在任意时刻将数据库备份出来，非常方便。1

2[root@redis ~]# yum -y install rubygems.noarch ruby-devel

[root@redis ~]# gem install redis-dump

这样就安装完成了，使用方法到GitHub上去看，挺详细的。