Redis学习总结

Redis

1、Redis简介

1、Redis：REmote DIctionary Server（远程字典服务器）

2、完全免费，使用c语言编写，遵守BSD协议，是一个高性能的（key/value）额分布式内存数据库，基于内存运行，并支持持久化的NoSql数据库，是当前最热门的NoSql数据库之一，也被人们成为数据结构服务器。

3、Redis与其他key-value缓存产品有以下三个特点：

​ 1）、Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的实收可以再次加载进行使用；

​ 2）、Redis不仅仅支持简单的key-value类型的数据，同时提供list、set、zset、hash等数据结构的存储；

​ 3）、Redis支持数据的备份，即master-slave模式的数据备份。

4、Redis能做什么？

​ 1）、内存存储和持久化：redis支持异步将内存中的数据写到硬盘上，同时不影响继续服务；

​ 2）、取最新N个数据的操作，如：可以将最新的10条评论的ID放在Redis的List集合里面；

​ 3）、模拟类似于HttpSession这种需要设定过期时间的功能

​ 4）、发布、订阅消息系统

​ 5）、定时器、计数器

5、Redis学习地址

​ 1）、Http://redis.io/

​ 2）、Http://www.redis.cn/

6、Redis的使用

​ 1）、数据类型、基本操作和配置

​ 2）、持久化和复制，RDB/AOF

​ 3）、事务的控制

​ 4）、复制

2、Redis的安装

Linux版安装

1、linux中安装gcc：

​ 1）、rpm -ivh cpp-4.8.5-16.el7.x86_64.rpm

​ 2）、rpm -ivh kernel-headers-3.10.0-693.el7.x86_64.rpm

​ 3）、rpm -ivh glibc-headers-2.17-196.el7.x86_64.rpm

​ 4）、rpm -ivh glibc-devel-2.17-196.el7.x86_64.rpm

​ 5）、rpm -ivh libgomp-4.8.5-16.el7.x86_64.rpm

​ 6）、rpm -ivh gcc-4.8.5-16.el7.x86_64.rpm

2、安装redis

​ 1）、官网下载redis稳定版

​ 2）、下载完成之后，用tar -zxvf redis-…解压缩

​ 3）、make 没有gcc，make失败，第二次需要make distclen

​ 4）、修改redis.conf文件daemonize yes

​ 5）、redis-server启动服务

3、Redis启动后杂项基础知识讲解

​ 1）、单进程

​ 1> 单进程模型来处理客户端请求，对读写等事件的响应

​ 2> Epoll是Linux内核为处理大批量文件描述符而做了改进的epoll，是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。

​ 2）、默认16个数据库，类似数组下标从零开始，初始默认使用零号库

​ 3）、Select命令切换数据库

​ 4）、Dbsize查看当前数据库的key的数量

​ 5）、Flushdb：情况当前库

​ 6）、Flushall：通杀全部库

​ 7）、统一管理密码，16个库都是同样的密码，要么ok要么一个也连接不上

​ 8）、Redis索引都是从零开始

​ 9）、默认端口是6379

3、Redis的数据类型

1、Redis的五大数据类型

​ 1）、String（字符串）

​ 2）、Hash（哈希，类似java里面的Map）

​ 3）、List（列表，是一个链表）

​ 4）、Set（集合）

​ 5）、Zset（sorted set：有序集合）

2、哪里去获得redis常见数据类型操作命令

​ 1）、Http://redisdoc.com/

3、Redis键（key）

​ 1）、keys * 查出所有key

​ 2）、exists key的名字，判断某个key是否存在

​ 3）、move key db —>当前库就没有了，被移除了

​ 4）、expire key 秒数：为给定的key设置过期时间

​ 5）、ttl key 查看还有多少秒过期，-1表示永不过期，-2表示已过期

​ 6）、type key 查看你的key类型

4、redis字符串（String）【单值单value】

​ 1）、set/get/del/append【拼接字符串】/strlen

​ 2）、Incr【加】/decr【减】/incrby【递增】/decrby【递减】,一定要是数字才能进行加减

​ 3）、getrange【获取指定区间范围内的值，从0到-1表示全部】/setrange【从第几位开始设值setrange k1 0 xxx】

​ 4）、setex（set with expire）键秒值/setnx（set if not exist）

​ 5）、mset/mget/msetnx

​ 6）、getset（先get再set）

5、Redis列表（List）【单值多value】

​ 1）、Lpush【先进后出】/rpush【先进先出】/Lrange

​ 2）、Lpop【先弹栈顶】/rpop【先弹栈底】（弹出一个）

​ 3）、Lindex，按照索引下表获得元素（从上到下）

​ 4）、LLEN

​ 5）、Lrem key 删除N个value

​ 6）、Ltrim key 开始index 结束index，截取指定范围

​ 7）、rpopLpush 源列表 目的列表

​ 8）、Lset key index value

​ 9）、Linsert key before/after 值1 值2

6、Redis集合（Set）【单值多value】

​ 1）、sadd/smembers/sismember

​ 2）、scrd，获取集合里面的元素个数

​ 3）、srem key value删除集合中的元素

​ 4）、srandmember key 某个整数（随机出几个数）

​ 5）、spop key（随机出栈）

​ 6）、smove key1 key2 在key1里面的某个值

​ 7）、数学集合类【差集：sdiff 交集：sinter 并集：sunion】

7、Redis哈希（Hash）【kv模式不变，但v是一个键值对】

​ 1）、hset/hget/hmset/hmget/hgetall/hdel

​ 2）、HLEN

​ 3）、hexists key 在key里面的某个值的key

​ 4）、hkeys/hvals

​ 5）、hincrby/hincrbyfloat

​ 6）、hsetnx

8、Redis有序集合Zset（sorted set）【在set基础上，加一个score值。之前set是 k1 v1 v2 v3，现在zset是k1 score1 v1 score2 v2】

​ 1）、zadd/arange（withscores）

​ 2）、zrangebyscore key 开始score结束score【（ 不包含】

​ 3）、zcard/zcount key score区间/arank key values值，作用是获得下标值/zscore key对应值，获得分数

​ 4）、zrevrank key vlues值，作用是你须获得下标值

​ 5）、zrem key 某score下对应的value值，作用是删除元素

​ 6）、zrevrange

​ 7）、zrevrangebyscore key 结束score 开始score

4、Redis配置文件

1、Untis单位

​ 1）、配置大小单位，开头定义了一些基本的度量单位，只支持bytes，不支持bit

​ 2）、对大小写不敏感

2、INCLUDES包含

​ 1）、和Struts2配置文件类似，可以通过includes包含，redis.conf可以作为总闸，包含其他

3、GENERAL通用

​ 1）、Daemonize 守护进程[默认no，改为yes]

​ 2）、Pidfile 进程管道控制文件

​ 3）、Port 端口号

​ 4）、Tcp-backlog

​ 1> 设置tcp的backlog，backlog其实是一个连接队列，backlog队列综合=未完成三次握手队列 + 已经完成三次握手队列。在高并发环境下你需要一个高backlog值来避免客户端连接慢问题。注意Linux内核会将这个值减小到/proc/sys/net/core/somaxconn的值，所以需要确认增大somaxconn和tcp_max_syn_backlog两个值来达到想要的效果

​ 5）、TImeout

​ 6）、Bind

​ 7）、Tcp-keepalive

​ 1> 单位为秒，如果设置为0，则不会进行Keepalive检测，建议设置成60

​ 8）、Loglevel【日志级别】

​ 1> debug

​ 2> verbose

​ 3> notice默认

​ 4> warning

​ 9）、Logfile【日志文件】

​ 10）、Syslog-enabled

​ 1> 是否把日志输出到syslog中

​ 11）、Syslog-ident

​ 1> 指定Syslog里的日志标志

​ 12）、Syslog-facility

​ 1> 指定syslog设备，值可以是USER或LOCAL0-LOCAL7

​ 13）、Database

​ 1> 默认的redis有16个数据库，角标从0到15

4、SNAPSHOTTING快照

​ 1）、save 【RDB是整个内存压缩过的Snapshot，RDB的数据结构，可以配置复合的快照触发条件，默认：】

​ 1> 是1分钟内改了1万次

​ 2> 或5分钟内改了10次

​ 3> 或15分钟内改了一次

​ 4> 禁用 【如果想禁用RDB持久化的策略，只要不设置任何save指令，或者给save传入一个空字符串参数也可以】

​ 2）、Stop-writes-on-bgsave-error【默认为yes，如果配置成no，表示你不在乎数据不一致或者有其他的手段发现和控制】

​ 3）、rdbcompression【默认为yes】：对于存储到磁盘中的快照，可以设置是否进行压缩存储。如果是的话，redis会采用LZF算法进行压缩。如果你不想消耗CPU来进行压缩的话，可以设置为关闭此功能

​ 4）、rdbchecksum【默认为yes】：在存储快照后，还可以让redis使用CRC64算法来进行数据校验，但是这样做会增加大约10%的性能消耗，如果希望获取最大的性能提示，可以关闭此功能。

​ 5）、dbfilename：dump.rdb

​ 6）、dir

5、REPLICATION复制

6、SECURITY安全

​ 1）、访问密码的的查看、设置和取消

7、LIMITS限制

​ 1）、Maxclients【最大连接数，默认10000】

​ 2）、Maxmemory【最大内存】

​ 3）、Maxmemory-policy【缓存清除策略】

​ 1> volatile-lru：使用LRU算法移除key，只对设置了过期时间的键

​ 2> allkeys-lru：使用LRU算法移除key

​ 3> volatile-random：在过期集合中移除随机的key，只对设置了过期时间的键

​ 4> allkeys-random：移除随机的key

​ 5> volatile-ttl：移除那些TTL值最小的key，即那些最近要过期的key

​ 6> noeviction：不进行移除。针对写操作，只是返回错误信息

​ 4）、Maxmemory-samples【默认是5】

​ 1> 设置样本数量，LRU算法和最小的TTL算法都并非精确地算法，而是估算值，所以你可以设置样本的大小，redis默认会检查这么多的key并选择其中LRU的那个。

8、APPEND ONLY MODE追加

​ 1）、appendonly【默认是no，yes就打开aof持久化】

​ 2）、appendfilename【默认名字：appendonly.aof】

​ 3）、Appendfsync【默认：Everysec】

​ 1> Always：同步持久化每次发生数据变更会被立即记录到磁盘，性能较差但数据完整性比较好

​ 2> Everysec：出厂默认推荐，异步操作，每秒记录 如果一秒内宕机，有数据丢失

​ 3> No

​ 4）、No-appendfsync-on-rewrite：重写时是否可以运用Appendfsync，用默认no即可，保证数据安全性

​ 5）、Auto-aof-rewrite-min-size：设置重写的基准值

​ 6）、Auto-aof-rewrite-percentage：设置重写的基准值

9、常见配置redis.conf介绍

5、Redis持久化

1、总体介绍

​ 1）、官网介绍

2、RDB（Redis Database）

​ 1）、定义：在指定时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里【Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能。如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失】

​ 2）、Fork：Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据（变量、环境变量、程序计数器等）数值都和原进程一致，但是是一个全新的进程，并作为原进程的子进程

​ 3）、Rdb保存的是dump.rdb文件

​ 4）、配置位置

​ 5）、如何触发RDB快照

​ 1> 配置文件中默认的快照配置【冷拷贝后重新使用】

​ 2> 命令save或者是bgsave

​ – Save：save时只管保存，其他不管，全部阻塞

​ – BGSAVE：Redis会在后台异步进行快照操作，快照同时还可以响应客户端请求。可以通过lastsave命令获取最后一次成功执行快照的时间。

​ 3> 执行flushall命令，也会产生dump.rdb文件，但里面是空的，无意义

​ 6）、如何恢复

​ 1> 将备份文件（dump.rdb）移动到redis安装目录并启动服务即可

​ 2> CONFIG GET dir获取目录

​ 7）、优势

​ 1> 适合大规模的数据恢复

​ 2> 对数据的完整性和一致性要求不高

​ 8）、劣势

​ 1> 在一定间隔时间做一次备份，所以如果redis意外down掉的话，就会丢失最后一次快照后的所有修改

​ 2> Fork的时候，内存中的数据被克隆了一份，打至两倍的膨胀性需要考虑

​ 9）、如何停止

​ 1> 动态所有停止RDB保存规则的方法：redis-cli config set save “”

3、AOF（Append Only File）

​ 1）、官网介绍

​ 2）、定义：以日志的形式来记录每个写操作，将Redis执行过的所有写指令记录下来（读操作不记录），只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

​ 3）、Aof保存的是appendonly.aof文件

​ 4）、配置位置

​ 5）、AOF启动/修复/恢复

​ 1> 正常恢复：a.启动：设置为yes，修改默认的appendonly no，改为yes

​ b.将所有数据的aof文件复制一份保存到对应目录（config get dir）

​ c.恢复：重启redis然后重新加载

​ 2> 异常恢复：a.启动：设置为yes

​ b.备份被写坏的AOF文件

​ c.修复：redis-check-aof --fix进行修复

​ d.恢复：重启redis然后重新加载

​ 6）、Rewrite

​ 1> 定义：AOF采用文件追加方式，文件会越来越大为避免出现此种情况，新增了重写机制，当AOF文件的大小超过所设定的阈值时，redis就会启动AOF文件的内容压缩，只保留可以恢复数据的最小指令集，可以使用命令bgrewriteaof

​ 2> 重写原理：AOF文件持续增长而过大时，会fork出一条新进程来将文件重写（也是先写临时文件最后rename），遍历新进程的内存中数据，每条记录有一条的Set语句。重写aof文件的操作，并没有读取旧的aof文件，而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件，这点和快照有点类似。

​ 3> 触发机制： Redis会记录上次重写时的AOF大小，默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发。

​ 7）、优势

​ 1> 每秒同步：appendfsync always 同步持久化 每次发生数据变更会被立即记录到磁盘 性能较差但数据完整性比较好。

​ 2> 每修改同步：appendfsync everysec 异步操作，每秒记录 如果一秒内宕机，有数据丢失

​ 3> 不同步：appendfsync no 从不同步

​ 8）、劣势

​ 1> 相同数据集的数据而言aof文件要远大于rdb文件，恢复速度慢于rdb

​ 2> AOF运行效率要慢于rdb，每秒同步策略效率较好，不同步效率和rdb相同

4、总结（Which one）

​ 1）、RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储

​ 2）、AOF持久化方式记录每次对服务器写的操作，当服务器重启的时候会重新执行这些命令来恢复原始的数据，AOF命令以redis协议追加保存每次写的操作到文件末尾，Redis还能对AOF文件进行后台重写，使得AOF文件的体积不至于过大。

​ 3）、只做缓存：如果你只希望你的数据在服务器上运行的时候存在，你也可以不使用任何持久化方式

​ 4）、同时开启两种持久化方式

​ a.在这种情况下，当redis重启的时候会优先载入AOF文件来恢复原始的数据，因为在通常情况下AOF文件的数据集要比RDB文件保存的数据集要完整。

​ b.RDB的数据不实时，同时使用两者时服务器重启也只会找AOF文件。也不建议只使用AOF，因为RDB更适合用于备份数据库（AOF在不断变化不好备份），快速重启，而且不会有AOF可能潜在的bug，留着作为一个万一的手段。

​ 5）、性能建议

因为RDB文件只用作后备用途，建议只在Slave上持久化RDB文件，而且只要15分钟备份一次就够了，只保留save 900 1这条规则。

如果Enable AOF，好处是在最恶劣的情况下也只会丢失不超过两秒数据，启动脚本较简单只load自己的AOF文件就可以了。代价一是带来了持续的IO，二是AOF rewrite的最后将rewrite过程中产生的新数据写到文件夹造成的阻塞几乎是不可避免的。只要硬盘许可，应尽量减少AOF rewrite的频率，AOF重写的基础大小默认值64M太小了，可以设到5G以上。默认超过原大小100%大小时重写可以改到适当的值。

如果不Enable AOF，仅靠Master-Slave Replication实现高用性也可以。能省掉一大笔IO也减少了rewrite时带来的系统波动。代价是如果Master/Slave同时倒掉，会丢失十几分钟的数据，启动脚本也要比较两个Master/Slave中的RDB文件，载入较新的那个。新浪微博就选用了这种架构。

6、Redis的事务

1、是什么：可以一次执行多个命令，本质是一组命令的集合。一个事务中的所有命令都会序列化，按顺序的串行化执行而不会被其他命令插入，不许加塞

2、能干嘛：一个队列中，一次性、顺序性、排他性的执行一系列命令。

3、怎么用

​ 1）、常用命令

​ a.DISCARD：取消事务，放弃执行事务块内的所有命令

​ b.EXEC：执行所有事务块内的命令

​ c.MULTI：标记一个事务块的开始

​ d.UNWATCH：取消WATCH命令对所有key的监视

​ e.WATCH key [key…]：监视一个（或多个）key，如果在事务执行之前这个（或这些）key被其他命令所改动，那么事务将被打断。

​ 2）、Case1：正常执行

​ 3）、Case2：放弃事务

​ 4）、Case3：全体连坐

​ 5）、Case4：冤头债主

​ 6）、Case5：watch监控

​ a.悲观锁/乐观锁/CAS(Check And Set)

​ b.初始化信用卡可用余额和欠额

​ c.无加塞篡改，先监控在开启multi，保证两笔金额变动在同一个事务内

​ d.有加塞篡改

​ e.unwatch

​ f.一但执行了exec之前加的监控锁都被取消掉了

​ g.小结：①watch指令，类似乐观锁，事务提交时，如果可以的值已被别的客户端改变，比如某个list已被别的客户端push/pop过了，整个事务队列都不会被执行；②通过WATCH命令在事务执行之前监控了多个keys，倘若在WATCH之后有任何key的值发生了变化，EXEC命令执行的事务都将被放弃，同时返回Nullmulti-bulk应答以通知调用者事务执行失败。

4、三阶段

​ 1）、开启：以MULTI开始一个事务

​ 2）、入队：将多个命令入队到事务中，接到这些命令并不会立即执行，而是放到等待执行的事务队列面。

​ 3）、执行：由EXEC命令触发事务

5、三特性

​ 1）、单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。

​ 2）、没有隔离级别的概念：队列中的命令没有提交之前都不会实际的被执行，因为事务提交之前任何指令都不会被实际执行，也就不存在“事务内的查询要看到事务里的更新，在事务外查询不能看到”这个让人万分头痛的问题。

​ 3）、不保证原子性：redis同一个事务中如果有一条命令执行失败，其后的命令仍然会被执行，没有回滚。

7、Redis的发布订阅

1、是什么

​ 1）、进程间的一种消息通信模式：发送者（pub）发送消息，订阅者（sub）接受消息。

​ 2）、订阅/发布消息图

2、命令

​ 1）、PSUBSCRIBE pattern [pattern…] 订阅一个或多个符合给定模式的频道

​ 2）、PUBSUB subcommand [argument [argument…]] 查看订阅与发布系统状态

​ 3）、PUBLISH channel message 将消息发送到指定的频道

​ 4）、PUNSUBSCRIBE channel [channel…] 退订所有给定模式的频道

​ 5）、SUBSCRIBE channel [channel…] 订阅给定的一个或多个频道的信息

​ 6）、UNSUBSCRIBE [channel [channel…]] 指退订给定的频道

3、案例

​ 先订阅后发布后才能收到消息，

​ 1）、可以一次性订阅多个，SUBSCRIBE c1 c2 c3

​ 2）、消息发布，PUBLISH c2 hello-redis

​ 3）、订阅多个，通配符*， PSUBSCRIB new*

​ 4）、收取消息，PUBLISH new1 redis2015

8、Redis的复制

1、是什么

行话：也就是我们所说的主从复制，主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，Master以写为主，Salve以读为主

2、能干嘛

​ 1）、读写分离

​ 2）、容灾配置

3、怎么玩

​ 1）、配从(库)不配主(库)

​ 2）、从库配置：slaveof 主库IP 主库端口

​ 1> 每次与master断开之后，都需要重新连接，除非你配置进redis.conf文件

​ 2> Info replication

​ 3）、修改配置文件细节操作

​ 1> 拷贝多个redis.conf文件

​ 2> 开启daemonize yes

​ 3> Pid文件名字

​ 4> 指定端口

​ 5> Log文件名字

​ 6>Dump.rdb名字

​ 4）、常用三招

​ 1> 一主二仆

​ a.Init

​ b.一个master两个slave

​ c.日志查看

​ d.主从问题演示

​ 2> 薪火相传

​ a.上一个Slave可以是下一个slave的master，slave同样可以接收其他slaves的连接和同步请求，那么该slave作为了链条中下一个的master，可以有效减轻master的写压力。

​ b.中途变更专项：会清除之前的数据，重新建立拷贝最新的

​ c.Slaveof 新主库IP 新主库端口

​ 3> 反客为主

​ a.Slaveof no one 使当前数据库停止与其他数据库的同步，转成主数据库

4、复制原理

​ 1）、Slave启动成功连接到master后会发送一个sync命令

​ 2）、Master接到命令启动后台的存盘进程，同时收集所有接收到的作用于修改数据集命令，在后扰进程执行完毕后，master将传送整个数据文件到slave，以完成一次完全同步

​ 3）、全量复制：而slave服务在接收到数据库文件数据后，将其存盘并加载到内存中。

​ 4）、增量复制：Master继续将新的所有收集到的修改命令依次传给slave，完成同步

​ 5）、但是只要是重新连接master，一次完全同步（全量复制）将被自动执行

5、哨兵模式(sentinel)

​ 1）、是什么：反客为主的自动版，能够后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库。

​ 2）、使用步骤

​ 1> 调整结构，6379带着80、81

​ 2> 自定义的/myredis目录下新建sentinel.conf文件，名字绝对不能错

​ 3> 配置哨兵，填写内容

​ a.sentinel monitor 被监控主机名字（自己起名字） 127.0.0.1 6379 1

​ b.上面最后一个数字1，表示主机挂掉后slave投票看让谁接替成为主机，得票数多的成为主机

​ 4> 启动哨兵

​ a.redis-sentinel /myredis/sentinel.conf

​ b.上述目录依照各自的实际情况配置，可能目录不同

​ 5> 正常主从演示

​ 6> 原有的master挂了

​ 7> 投票新选

​ 8> 重新主从继续开工，info replication查查看

​ 9> 问题：如果之前的master重启回来，会不会双master冲突？

​ a.不会，如果之前的master重启回来，会变成新master的slave

​ 3）、一组sentinel能同时监控多个Master

6、复制的缺点

​ 1）、复制延时：由于所有的写操作都是现在Master上操作，然后同步更新到Slave上，所以从Master同步到Slave机器上有一定的延迟，当系统很繁忙的时候，延迟问题会更加严重，Slave机器数量的增加也会使这个问题更加严重