分布式Redis缓存
什么是redis
- 非关系型数据库,NOSQL
- 可以设置有效期,是内存数据库,同时也可以将其持久化,保证数据的高可用
- Redis是由意大利人开发的一款内存高速缓存数据库,该数据库由C语言编写,Redis是一个key-value存储系统,他支持丰富的数据类型。如:string,list,set,zset(有序set),hash
- redis采用的是基于内存的采用单进程单线程模型的KV数据库,由C语言编写。官方提供的数据是可以达到100000+的qps
- redis中默认存在16个库(0-15),默认连接的是第0个库,在redis中的redis.conf中有database 16表示默认有16个库,同一个库中的key重复会覆盖(类型不一样,key重复,在同一个库中也是会重复的),但是不同的库之间的key重复则不受影响
Redis单线程的好处
- 代码更清晰,处理逻辑更加简单
- 不用去考虑各种锁的问题,不存在加锁释放锁操作,没有因为可能出现死锁而导致的性能消耗
- 不存在多进程或者多线程导致的切换而消耗CPU
- redis是线程安全的
单进程单线程弊端
- 无法发挥多核CPU性能,不过可以通过在单机开多个Redis实例来完成
Redis的应用场景
(1)令牌的生成
(2)短信验证码
(3)发布订阅
- 相当于消息系统,ActiveMQ,RocketMQ等工具类似,但是个人觉得简单用一下还行,如果对于数据的一致性要求比较高的情况还是用RocketMQ好
- 由于redis是把数据添加到队列中,所以是有顺序的先入先出
- 队列不仅可以把并发请求变成串行,并且还可以做到队列或者栈的使用
(4)分布式锁
- 验证前端的重复请求(可以自由扩展类似情况),可以通过redis进行过滤:每次请求将request,IP,参数,接口等hash作为key存储在redis中(幂等性要求),设置多长时间有效期,然后下次请求过来的时候先在redis中检索有没有这个key,进而验证是不是一定时间内过来的重复提交,如果redis中已经存在这个key就是重复提交
- 秒杀系统,基于redis的单线程特性,防止数据库“爆破”
- 全局增量ID生成,类似秒杀
(5)计数器
- 诸如统计点击数等应用,由于单线程,可以避免并发问题,保证不会出错,而且100%毫秒级性能
(6)缓存(热点数据)
- 热点数据(经常会被查询查的数据,但是不经常修改或者删除的数据),首选是使用redis缓存,毕竟强大到冒泡的QPS和极强的稳定性不是所有类似工具都有的,而且相比于memcached还提供了丰富的数据类型可以使用,另外,内存中的数据也提供了AOF和RDB等持久化机制可以选择。
- select数据库前查询redis,有的话使用redis的数据,放弃select数据库,没有的话,select数据库,然后将数据插入redis中。
- update或者delete数据库的时候,查询redis是否存在该数据,存在的话先删除redis中的数据,然后再update或者delete数据库中的数据。
- 上面的这种操作,在并发量较小的时候基本上是没有问题的,但是高并发的情况请注意下面的场景:为了update先删除了redis中的数据,这个时候另一个线程执行查询,发现redis中没有,瞬间执行了查询的sql,并且插入到redis中一条数据,这时候线程又执行update的语句,这时候就会出现redis中存储的数据还是之前的数据,与数据可不一致的情况。
Redis的安装
-
外网环境redis安装的注意事项
(1)关闭防火墙
(2)设置后台启动(在redis.conf中):daemonize yes
(3)默认是本地可以访问,我们需要注掉配置文件中的bind,允许使用IP访问redis(在redis.conf中)
-
安装redis步骤:
(1)下载redis的安装包
wget http://download.redis.io/releases/redis-3.2.9.tar.gz
(2)解压redis的安装包、
tar -zxvf redis-3.2.9.tar.gz
(3)安装
cd redis-3.2.9
Make
Cd src
make install PREFIX=/usr/local/redis
(4)移动配置文件到安装目录
cd …/
mkdir /usr/local/redis/etc
mv redis.conf /usr/local/redis/etc
(5)配置redis为后台启动
vi /usr/local/redis/etc/redis.conf //将daemonize no 改成daemonize yes 改为后台启动
vi /usr/local/redis/etc/redis.conf // requirepass 123456 设置密码
(6)开启redis
/usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf
(7)连接redis的客户端
./redis-cli -h 127.0.0.1 -p 6379 -a “123456”
(8)测试
输入ping,返回pong表示成功 -
注意:
(1)关闭防火墙
//临时关闭
systemctl stop firewalld
//禁止开机启动
systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
(2)禁止redis服务
./redis-cli -h 127.0.0.1 -p 6379 -a “123456” shutdown
修改redis.conf
注释掉
#bind 127.0.0.1 开启外网访问
Redis的基本数据类型
- Redis目前支持5种数据类型,分别是:
(1)string:字符串
(2)list:列表
(3)hash:字典
(4)set:集合
(5)zset:sorted set,有序集合,带有score权重
string(字符串)
- string是简单的key-value键值对,value不仅可以是string,也可以是数字。string在redis中默认就是一个字符串,被redisObject所引用,当遇到incr(自增),decr(自减)的时候,会将其转换成数值型进行计算,此时redisObject的encoding字段为int
- string在redis的内部存储默认就是一个字符串,被redisObject所引用,当遇到incr,decr等操作的时候自动转成数值型进行计算
- 举例:
redis 127.0.0.1:6379> SET mykey "redis"
OK
redis 127.0.0.1:6379> GET mykey
"redis"
list(列表)
- Redis列表是简单的字符串列表,简单的说就是一个链表或者一个队列。可以从头部或者尾部向redis中添加元素。列表的最大长度是2^32-1,即每个列表支持超所40亿个元素
- redis list的实现是一个双向链表,即可以支持反向查找和遍历,更加方便的操作,不过带来了部分额外的内存开销,Redis内部的很多实现,包括发送缓冲队列等也都是用的这个数据结构。
- 应用场景:Redis list的应用场景非常多,也是Redis最重要的数据结构之一,比如twitter的关注列表,粉丝列表都是可以用Redis的list结构来实现的,再比如有的应用使用Redis的list类型来实现一个简单的轻量级的消息队列,生产者push,消费者pop/bpop
- 举例:
redis 127.0.0.1:6379> LPUSH runoobkey redis
(integer) 1
redis 127.0.0.1:6379> LPUSH runoobkey mongodb
(integer) 2
redis 127.0.0.1:6379> LPUSH runoobkey mysql
(integer) 3
redis 127.0.0.1:6379> LRANGE runoobkey 0 10
1) "mysql"
2) "mongodb"
3) "redis"
hash(字典)
- Redis Hash对应value内部实际上就是HashMap,实际上会有两种不同的实现,这个Hash的成员较少的时候Redis为了节省内存,会采用类似于一维数组的方式来紧凑存储,而不会采用真正的HashMap结构,对应的value redisObject的encoding为zipmap,当成员数量增大的时候,会自动转换成真正的HashMap,测试encoding为ht
127.0.0.1:6379> HMSET runoobkey name "redis tutorial"
127.0.0.1:6379> HGETALL runoobkey
1) "name"
2) "redis tutorial"
set(集合)
- Redis的Set是string类型的无序集合,集合成员是唯一的,这就意味着集合中不能出现重复的数据,无序无重复
- Redis中集合是通过哈希表实现的,所以添加,删除,查找的复杂度是O(1)
- 集合中最大的成员数为2^32-1,(4294967295,每个集合可存储最多40多亿个成员)
redis 127.0.0.1:6379> SADD runoobkey redis
(integer) 1
redis 127.0.0.1:6379> SADD runoobkey mongodb
(integer) 1
redis 127.0.0.1:6379> SADD runoobkey mysql
(integer) 1
redis 127.0.0.1:6379> SADD runoobkey mysql
(integer) 0
redis 127.0.0.1:6379> SMEMBERS runoobkey
1) "mysql"
2) "mongodb"
3) "redis"
Sorted Set(有序集合)
- Redis有序集合和集合一样也是string类型元素的集合,且不允许重复的成员,有序不重复
- 不同的是每个元素都会关联一个double类型的分数,redis正是通过分数来为集合中的成员进行从小到达的排序
- 有序集合的成员是唯一的,但是分数缺失可以重复的。
- 集合是通过哈希表实现的,所以添加,删除,查找的复杂度都是O(1)。集合中最大的成员数与set类型一致
- 举例
redis 127.0.0.1:6379> ZADD runoobkey 1 redis
(integer) 1
redis 127.0.0.1:6379> ZADD runoobkey 2 mongodb
(integer) 1
redis 127.0.0.1:6379> ZADD runoobkey 3 mysql
(integer) 1
redis 127.0.0.1:6379> ZADD runoobkey 3 mysql
(integer) 0
redis 127.0.0.1:6379> ZADD runoobkey 4 mysql
(integer) 0
redis 127.0.0.1:6379> ZRANGE runoobkey 0 10 WITHSCORES
1) "redis"
2) "1"
3) "mongodb"
4) "2"
5) "mysql"
6) "4"
SpringBoot集成Redis
- 其实SpringBoot集成Redis就是对Jedis的封装
发布订阅
- Redis的发布订阅是一种消息通信模式,发送者(pub)发送消息,订阅者(sub)接受消息。
- Redis客户端可以订阅任意数量的频道
- 下图展示了频道channel1,以及订阅这个频道的三个客户端——client2,client5和client1之间的关系
- 当有新消息通过PUBLISH的命令发送给频道channel1的时候,这个消息就会被发送给订阅他的三个客户端。
- 在我们的实例中我们创建了订阅频道名为redisChat
redis 127.0.0.1:6379> SUBSCRIBE redisChat
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "redisChat"
3) (integer) 1
- 现在我们重新开启redis客户端,然后在同一个频道redisChat发布两次消息,订阅者就能接受到消息
redis 127.0.0.1:6379> PUBLISH redisChat "Redis is a great caching technique"
(integer) 1
redis 127.0.0.1:6379> PUBLISH redisChat "Learn redis by runoob.com"
(integer) 1
- 订阅者接受到的消息是
1) "message"
2) "redisChat"
3) "Redis is a great caching technique"
1) "message"
2) "redisChat"
3) "Learn redis by runoob.com"