Redis原理和高可用场景实践总结

目录

1.Redis基础原理和知识

2.Redis持久化：RDB，AOF

3.部署redis企业级数据备份方案

4.如何通过读写分离来承载读请求QPS超过10万+(master+slave)

5 redis哨兵架构的相关基础知识的讲解

6 哨兵主备切换的数据丢失问题：异步复制、集群脑裂

7 redis的集群架构（企业级常用架构）

8.redis cluster的hash slot算法

9.Redis节点间的内部通信机制

10.高可用性与主备切换原理

11 .jedis cluster api与redis cluster集群交互的一些基本原理

12.redis在实践中的一些常见问题以及优化思路

13.redis的雪崩和穿透

14、Redis的并发竞争问题该如何解决

15、你们生产环境中的redis是怎么部署的

16、Redis Java客户端的选择

17、保护模式

18、防重复提交

19、Redis有哪些淘汰策略

---

1.Redis基础原理和知识

1.1 redis和memcached有啥区别

1）Redis支持服务器端的数据操作：Redis相比Memcached来说，拥有更多的数据结构和并支持更丰富的数据操作，通常在Memcached里，你需要将数据拿到客户端来进行类似的修改再set回去。这大大增加了网络IO的次数和数据体积。在Redis中，这些复杂的操作通常和一般的GET/SET一样高效。所以，如果需要缓存能够支持更复杂的结构和操作，那么Redis会是不错的选择。

2）集群模式：memcached没有原生的集群模式，需要依靠客户端来实现往集群中分片写入数据；但是redis目前是原生支持cluster模式的，redis官方就是支持redis cluster集群模式的，比memcached来说要更好

1.2 redis的线程模型

redis单线程模型

1.2.1基础概念铺垫

redis基于reactor模式开发了网络事件处理器，这个处理器叫做文件事件处理器

文件事件处理器是单线程模式运行的，但是通过IO多路复用机制监听多个socket，可以实现高性能的网络通信模型，又可以跟内部其他单线程的模块进行对接，保证了redis内部的线程模型的简单性。

文件事件处理器的结构包含4个部分：多个socket，IO多路复用程序，文件事件分派器，事件处理器（命令请求处理器、命令回复处理器、连接应答处理器，等等）

文件事件处理器的结构

多个socket可能并发的产生不同的操作，每个操作对应不同的文件事件，但是IO多路复用程序会监听多个socket，但是会将socket放入一个队列中排队，每次从队列中取出一个socket给事件分派器，事件分派器把socket给对应的事件处理器。

当socket变得可读时，socket就会产生一个AE_READABLE事件。

当socket变得可写的时候，socket会产生一个AE_WRITABLE事件。

IO多路复用程序可以同时监听AE_REABLE和AE_WRITABLE两种事件，要是一个socket同时产生了AE_READABLE和AE_WRITABLE两种事件，那么文件事件分派器优先处理AE_REABLE事件，然后才是AE_WRITABLE事件。

如果是客户端要连接redis，那么会为socket关联连接应答处理器

如果是客户端要写数据到redis，那么会为socket关联命令请求处理器

如果是客户端要从redis读数据，那么会为socket关联命令回复处理器

1.2.2客户端与redis通信的一次流程

在redis启动初始化的时候，redis会将连接应答处理器跟AE_READABLE事件关联起来，接着如果一个客户端跟redis发起连接，此时会产生一个AE_READABLE事件，然后由连接应答处理器来处理跟客户端建立连接，创建客户端对应的socket，同时将这个socket的AE_READABLE事件跟命令请求处理器关联起来。

当客户端向redis发起请求的时候（不管是读请求还是写请求，都一样），首先就会在socket产生一个AE_READABLE事件，然后由对应的命令请求处理器来处理。这个命令请求处理器就会从socket中读取请求相关数据，然后进行执行和处理。

接着redis这边准备好了给客户端的响应数据之后，就会将socket的AE_WRITABLE事件跟命令回复处理器关联起来，当客户端这边准备好读取响应数据时，就会在socket上产生一个AE_WRITABLE事件，会由对应的命令回复处理器来处理，就是将准备好的响应数据写入socket，供客户端来读取。

命令回复处理器写完之后，就会删除这个socket的AE_WRITABLE事件和命令回复处理器的关联关系。

1.3为啥redis单线程模型也能效率这么高

1）纯内存操作（主要）

2）核心是基于非阻塞的IO多路复用机制（主要）

3）单线程反而避免了多线程的频繁上下文切换问题

1s内可以处理几万请求

1.4 redis的基础数据类型

类型	用途举例
string
hash
list	比如可以通过lrange命令，就是从某个元素开始读取多少个元素，可以基于list实现分页查询
set
sorted_set	排行榜：将每个用户以及其对应的什么分数写入进去，zadd board score username，接着zrevrange board 0 99，就可以获取排名前100的用户；zrank board username，可以看到用户在排行榜里的排名

1.5、Pipelining

客户端要连续执行的多次操作无法通过Redis命令组合在一起，例如：

SET a "abc"

INCR b

HSET c name "hi"

此时便可以使用Redis提供的pipelining功能来实现在一次交互中执行多条命令。

使用示例：

mysql  -uroot -p123456.. -Dds_0 --default-character-set=utf8 --skip-column-names --raw < syns_data.sql | redis-cli -a 123456.. --pipe

Pipelining的局限性

Pipelining只能用于执行连续且无相关性的命令，当某个命令的生成需要依赖于前一个命令的返回时，就无法使用Pipelining了。

1.6、事务与Scripting

Pipelining能够让Redis在一次交互中处理多条命令，然而在一些场景下&