redis能够很好应对高并发且快速的原因以及最常说的 IO多路复用和双写一致性

亓苏姑娘

已于 2023-03-08 10:36:44 修改

阅读量2k

点赞数 1

分类专栏：技术支持中间件文章标签： redis

于 2021-04-17 12:29:32 首次发布

本文链接：https://blog.csdn.net/Amethyst128/article/details/115791471

版权

技术支持同时被 2 个专栏收录

9 篇文章 0 订阅

订阅专栏

中间件

2 篇文章 0 订阅

订阅专栏

本篇讨论下面几个问题:
(1) 为什么说redis是单线程的?
(2) 为什么大家会选择redis来解决一些高并发的问题.
(3) Redis的IO多路复用的理解.
(4) Redis的使用过程中会出现的双写一致性问题.

简要总结为:

一. redis为什么是单线程的:

官方解答:
是基于内存操作的, 内存的读写速度是非常快的, 普通的笔记本电脑,没秒都能处理几十万的请求量. 所以CPU(内存里的操作) 不会成为redis的性能瓶颈. redis的瓶颈最有可能是内存的大小和网络通信能力;
另一方面: 是由于Redis的线程模型决定的:
Redis内部使用了文件事件处理器 file event handler, 这个文件事件处理器是单线程的, 所以Redis’才叫做单线程的模型, 它采用IO多路复用机制同时监听多个Socket, 根据Socket上的事件来选择对应的事件处理器进行处理.
– 文件事件处理器包含4个部分:
- IO 多路复用程序
- 多个Socket
- 文件事件分派器
- 事件处理器

redis的单线程的优势
(1) 不用考虑锁的问题
单个线程不存在多线程同时操作同一个对象的情况, 锁会导致同步的消耗大大增加. redis虽说是nosql的, 但是其中一些复杂的操作, 比如对list类型的插入和删除,对hash类型数据的增删, 都需要大量的锁来保证整个线程的原子性, 但是如果是单线程, 就完全不用担心这个问题.
(2) 减少了线程的上下文切换的时间消耗
不存在多线程或者多进程导致的上下文切换对CPU的消耗.

二. redis为什么可以解决高并发问题

redis高并发和快速的原因:
(1) redis是基于内存的操作,内存的读写速度非常快;
(2) redis是单线程的,省去了很多线程上下文切换的时间和消耗;
(3) redis采用IO多路复用技术, 可以处理并发的链接. 采用epoll的多路复用技术,绝对不在IO上浪费一点时间.

三.关于IO多路复用技术

多路-指的是多个socket连接，复用-指的是复用一个线程。多路复用主要有三种技术：select，poll，epoll。epoll是最新的也是目前最好的多路复用技术。这里“多路”指的是多个网络连接，“复用”指的是复用同一个线程。采用多路 I/O 复用技术可以让单个线程高效的处理多个连接请求（尽量减少网络IO的时间消耗），且Redis在内存中操作数据的速度非常快（内存内的操作不会成为这里的性能瓶颈），主要以上两点造就了Redis具有很高的吞吐量。

四. redis常见问题

性能问题和解决方案
(1) Master最好不要做任何持久化工作，如RDB内存快照和AOF日志文件；(Master写内存快照，save命令调度rdbSave函数，会阻塞主线程的工作，当快照比较大时对性能影响是非常大的，会间断性暂停服务，所以Master最好不要写内存快照;AOF文件过大会影响Master重启的恢复速度)
(2) 如果数据比较重要，某个Slave开启AOF备份数据，策略设置为每秒同步一次
(3) 为了主从复制的速度和连接的稳定性，Master和Slave最好在同一个局域网内
(4) 尽量避免在压力很大的主库上增加从库
(5) 主从复制不要用图状结构，用单向链表结构更为稳定，即：Master <- Slave1 <- Slave2 <- Slave3…；这样的结构方便解决单点故障问题，实现Slave对Master的替换。如果Master挂了，可以立刻启用Slave1做Master，其他不变。
redis的回收策略
- volatile-lru：从已设置过期时间的数据集（server.db[i].expires）中挑选最近最少使用的数据淘汰
- volatile-ttl：从已设置过期时间的数据集（server.db[i].expires）中挑选将要过期的数据淘汰
- volatile-random：从已设置过期时间的数据集（server.db[i].expires）中任意选择数据淘汰
- allkeys-lru：从数据集（server.db[i].dict）中挑选最近最少使用的数据淘汰
- allkeys-random：从数据集（server.db[i].dict）中任意选择数据淘汰
- no-enviction（驱逐）：禁止驱逐数据注意这里的6种机制，
  – volatile和allkeys规定了，是对已设置过期时间的数据集淘汰数据，还是从全部数据集淘汰数据。
  – 后面的lru、ttl以及random是三种不同的淘汰策略，再加上一种no-enviction永不回收的策略。

五. 既然讲到了epoll多路复用, 这里说一下几种常见的IO

这里借用一下一个很好的例子, 浅显易懂:
IO 多路复用是5种I/O模型中的第3种，对各种模型讲个故事，描述下区别：

故事情节为：老李去买火车票，三天后买到一张退票。参演人员（老李，黄牛，售票员，快递员），往返车站耗费1小时。

阻塞I/O模型

老李去火车站买票，排队三天买到一张退票。
耗费：在车站吃喝拉撒睡 3天，其他事一件没干。

非阻塞I/O模型

老李去火车站买票，隔12小时去火车站问有没有退票，三天后买到一张票。
耗费：往返车站6次，路上6小时，其他时间做了好多事。

I/O复用模型

select/poll
老李去火车站买票，委托黄牛，然后每隔6小时电话黄牛询问，黄牛三天内买到票，然后老李去火车站交钱领票。
耗费：往返车站2次，路上2小时，黄牛手续费100元，打电话17次

epoll
老李去火车站买票，委托黄牛，黄牛买到后即通知老李去领，然后老李去火车站交钱领票。
耗费：往返车站2次，路上2小时，黄牛手续费100元，无需打电话。

epoll ：进程只要等待在epoll上，epoll 代替进程去各个文件描述符上等待，当哪个文件描述符可读或者可写的时候就告诉epoll，epoll用小本本认真记录下来然后唤醒大哥：“进程大哥，快醒醒，你要处理的文件描述符我都记下来了”。
这样进程被唤醒后就无需自己从头到尾检查一遍，因为epoll都已经记下来了。因此我们可以看到，在这种机制下，实际上利用的就是“不要打电话给我，有需要我会打给你”，这就不需要一遍一遍像孙子一样问各个文件描述符了，而是翻身做主人当大爷了，“你们那个文件描述符可读或者可写了主动报上来”，这中机制实际上就是大名鼎鼎的 —— 事件驱动，event-driven。(https://ssup2.github.io/theory_analysis/Event_Driven_Architecture_on_Linux/)

所谓事件驱动, 来一张图:
解释一下IO多路复用的原理: I/O multiplexing 这里面的 multiplexing 指的其实是在单个线程通过记录跟踪每一个Sock(I/O流)的状态(对应空管塔里面的Fight progress strip槽)来同时管理多个I/O流. 发明它的原因，是尽量多的提高服务器的吞吐能力。在这里插入图片描述

简单说epoll和select/poll最大区别是：
1.epoll内部使用了mmap共享了用户和内核的部分空间，避免了数据的来回拷贝
2.epoll基于事件驱动，epoll_ctl注册事件，并注册callback回调函数，epoll_wait只返回发生的事件，避免了像select和poll对事件的整个轮询操作。
3.nginx中使用了epoll，是基于事件驱动模型的。由一个或多个事件收集器来收集或者分发事件，epoll就属于事件驱动模型的事件收集器，将注册过的事件中发生的事件收集起来，master进程负责管理worker进程。