如何避免单线程模型的阻塞

Redis实例有哪些阻塞点

• Redis 实例在运行时，要和许多对象进行交互，这些不同的交互就会涉及不同的操作
• 客户端：网络 IO，键值对增删改查操作，数据库操作；
• 磁盘：生成 RDB 快照，记录 AOF 日志，AOF 日志重写；
• 主从节点：主库生成、传输 RDB 文件，从库接收 RDB 文件、清空数据库、加载 RDB 文件；
• 切片集群实例：向其他实例传输哈希槽信息，数据迁移。
  

客户端交互时的阻塞点

• 第一个阻塞点：集合全量查询和聚合操作。复杂度O(N)
• 第二个阻塞点：删除bigkey。
  • 删除操作的本质是要释放键值对占用的内存空间。释放内存只是第一步，为了更加高效地管理内存空间，在应用程序释放内存时，操作系统需要把释放掉的内存块插入一个空闲内存块的链表，以便后续进行管理和再分配。这个过程本身需要一定时间，而且会阻塞当前释放内存的应用程序，所以，如果一下子释放了大量内存，空闲内存块链表操作时间就会增加，相应地就会造成 Redis 主线程的阻塞。
• 第三个阻塞点：清空数据库。

和磁盘交互时的阻塞点

• 第四个阻塞点：AOF 日志同步写。
  • Redis 直接记录 AOF 日志时，会根据不同的写回策略对数据做落盘保存。一个同步写磁盘的操作的耗时大约是 1～2ms，如果有大量的写操作需要记录在 AOF 日志中，并同步写回的话，就会阻塞主线程了。

主从节点交互时的阻塞点

• 在主从集群中，主库需要生成 RDB 文件，并传输给从库。主库在复制的过程中，创建和传输 RDB 文件都是由子进程来完成的，不会阻塞主线程。但是，对于从库来说，它在接收了 RDB 文件后，需要使用 FLUSHDB 命令清空当前数据库。
  -第五个阻塞点： 加载 RDB 文件。这个过程的快慢和 RDB 文件的大小密切相关，RDB 文件越大，加载过程越慢。

切片集群实例交互时的阻塞点

• 第六个阻塞点：在Redis Cluster方案，同时正好迁移的是bigkey的话，就会造成主线程的阻塞，因为Redis Cluster使用了同步迁移。

异步的子线程机制

• 读操作是典型的关键路径操作，需要反馈结果，所以不可以异步执行。
• 可以使用 Redis 的异步子线程机制来实现 bigkey 删除，清空数据库（FLUSHDB ASYNC），以及 AOF 日志同步写。
• Redis 主线程启动后，会使用操作系统提供的 pthread_create 函数创建 3 个子线程，分别由它们负责 AOF 日志写操作、键值对删除以及文件关闭的异步执行。
• 4.0版本后支持异步删除：主线程通过一个链表形式的任务队列和子线程进行交互。当收到键值对删除和清空数据库的操作时，主线程会把这个操作封装成一个任务，放入到任务队列中，然后给客户端返回一个完成信息，表明删除已经完成。 这个时候删除还没有执行，等到后台子线程从任务队列中读取任务后，才开始实际删除键值对，并释放相应的内存空间。因此，我们把这种异步删除也称为惰性删除（lazy free）。此时，删除或清空操作不会阻塞主线程，这就避免了对主线程的性能影响。
• 对于 Hash 类型的 bigkey 删除，可以使用 HSCAN 命令，每次从 Hash 集合中获取一部分键值对（例如 200 个），再使用 HDEL 删除这些键值对，这样就可以把删除压力分摊到多次操作中，那么，每次删除操作的耗时就不会太长，也就不会阻塞主线程了