Embrace Change

什么是 Cluster 集群Redis 集群是一种分布式数据库方案，集群通过分片(sharding)来进行数据管理(「分治思想」的一种实践)，并提供复制和故障转移功能。将数据划分为 16384 的 slots，每个节点负责一部分槽位。槽位的信息存储于每个节点中。它是去中心化的，如图所示，该集群有三个 Redis 节点组成，每个节点负责整个集群的一部分数据，每个节点负责的数据多少可能不一样。...

我们知道主从复制是高可用的基石，从库宕机依然可以将请求发送给主库或者其他从库，但是 Master 宕机，只能响应读操作，写请求无法再执行。所以主从复制架构面临一个严峻问题，主库挂了，无法执行「写操作」，无法自动选择一个 Slave 切换为 Master，也就是无法故障自动切换。什么是哨兵(Sentinel)搭建实例采用三个哨兵形成集群，三个数据节点(一主两从)方式搭建，如下图所示：...

主从复制概述有了 RDB 和 AOF 再也不怕宕机丢失数据了，但是 Redis 实例宕机了怎么实现高可用呢？既然一台宕机了无法提供服务，那多台呢？是不是就可以解决了。Redis 提供了主从模式，通过主从复制，将数据冗余一份复制到其他 Redis 服务器。前者称为主节点 (master)，后者称为从节点 (slave)；数据的复制是单向的，只能由主节点到从节点。为了保证副本数据的一致性，主从架...

我们通常将 Redis 作为缓存使用，提高读取响应性能，一旦 Redis 宕机，内存中的数据全部丢失，假如现在直接访问数据库大量流量打到 MySQL 可能会带来更加严重的问题。另外慢慢的从数据库读取放到 Redis 性能必然比不过从 Redis 获取快，也会导致响应变慢。Redis 为了实现无畏宕机快速恢复，设计了两大杀手锏，分别是 AOF(Append Only FIle)日志和 RDB 快...

到底有多快根据官方数据，Redis 的 QPS 可以达到约 100000(每秒请求数)，有兴趣的可以参考官方的基准程序测试《How fast is Redis？》，地址：https://redis.io/topics/benchmarks基于内存实现Redis 是基于内存的数据库，跟磁盘数据库相比，完全吊打磁盘的速度。不论读写操作都是在内存上完成的，我们分别对比下内存操作与磁盘操作的差...

Redis 作为目前通用的缓存选型，因其高性能而倍受欢迎。Redis 的 2.x 版本仅支持单机模式，从 3.0 版本开始引入集群模式。Redis 的 Java 生态的客户端当中包含 Jedis、Redisson、Lettuce，不同的客户端具备不同的能力是使用方式，本文主要分析 Jedis 客户端。Jedis 客户端同时支持单机模式、分片模式、集群模式的访问模式，通过构建 Jedis 类对象...

拉模式(点对点消息)如果没有消费者在监听队列，消息将保留在队列中，直至消息消费者连接到队列为止。在这种模型中，消息不是自动推动给消息消费者的，而是要由消息消费者从队列中请求获得。推模式(发布订阅消息)在该模型中，消息会自动广播，消息消费者无须通过主动请求或轮询主题的方法来获得新的消息。消息队列比较核心的应用场合有三个：解耦、异步和削峰在消息队列中一种常用的消息推送类型是推拉模式下面是推...

所谓的降级设计(Degradation)，本质是为了解决资源不足和访问量过大的问题。当资源和访问量出现矛盾的时候，在有限的资源下，为了能够扛住大量的请求，我们就需要对系统进行降级操作。也就是说，暂时牺牲掉一些东西，以保障整个系统的平稳运行。一般来说，我们的降级需要牺牲掉的东西有：降低一致性。从强一致性变成最终一致性。停止次要功能。停止访问不重要的功能，从而释放出更多的资源。简化功能...

保护系统不会在过载的情况下出现问题，我们就需要限流。我们在一些系统中都可以看到这样的设计，比如，我们的数据库访问的连接池，还有我们的线程池，还有 Nginx 下的用于限制瞬时并发连接数的 limit_conn 模块，限制每秒平均速率的 limit_req 模块，还有限制 MQ 的生产速，等等。限流的策略限流的目的是通过对并发访问进行限速，相关的策略一般是，一旦达到限制的速率，那么就会触发相应...

熔断机制这个词肯定不陌生，它的灵感来源于我们电闸上的“保险丝”，当电压有问题时(比如短路)，自动跳闸，此时电路就会断开，我们的电器就会受到保护。不然，会导致电器被烧坏，如果人没在家或是人在熟睡中，还会导致火灾。所以，在电路世界通常都会有这样的自我保护装置。同样，在我们的分布式系统设计中，也应该有这样的方式。前面说过重试机制，如果错误太多，或是在短时间内得不到修复，那么我们重试也没有意义了，此时应...

关于重试，这个模式应该是一个很普遍的设计模式了。当我们把单体应用服务化，尤其是微服务化，本来在一个进程内的函数调用就成了远程调用，这样就会涉及到网络上的问题。网络上有很多的各式各样的组件，如 DNS 服务、网卡、交换机、路由器、负载均衡等设备，这些设备都不一定是稳定的。在数据传输的整个过程中，只要任何一个环节出了问题，最后都会影响系统的稳定性。重试的场景所以，我们需要一个重试的机制。但是，我...

所谓幂等性设计，就是说，一次和多次请求某一个资源应该具有同样的副作用。用数学的语言来表达就是：f(x) = f(f(x))。比如，求绝对值的函数，abs(x) = abs(abs(x))。为什么我们需要这样的操作？说白了，就是在我们把系统解耦隔离后，服务间的调用可能会有三个状态，一个是成功(Success)，一个是失败(Failed)，一个是超时(Timeout)。前两者都是明确的状态，而超时...

前面所说的隔离设计通常都需要对系统做解耦设计，而把一个单体系统解耦，不单单是把业务功能拆分出来，正如上面所说，拆分完后还会面对很多的问题。其中一个重要的问题就是这些系统间的通讯。通讯一般来说分同步和异步两种。同步通讯就像打电话，需要实时响应，而异步通讯就像发邮件，不需要马上回复。各有千秋，我们很难说谁比谁好。但是在面对超高吐吞量的场景下，异步处理就比同步处理有比较大的优势了，这就好像一个人不可能...

隔离设计对应的单词是 Bulkheads，中文翻译为隔板。但其实，这个术语是用在造船上的，也就是船舱里防漏水的隔板。一般的船无论大小都会有这个东西，大一点的船都会把船舱隔成若干个空间。这样，如果船舱漏水，只会进到一个小空间里，不会让整个船舱都进水而导致整艘船都沉了，如下图所示。我们的软件设计当然也“漏水”，所以为了不让“故障”蔓延开来，需要使用“隔板”技术，来将架构分隔成多个“船...

弹力设计又叫容错设计，其中着眼于分布式系统的各种“容忍”能力，包括容错能力(服务隔离、异步调用、请求幂等性)、可伸缩性(有 / 无状态的服务)、一致性(补偿事务、重试)、应对大流量的能力(熔断、降级)。可以看到，在确保系统正确性的前提下，系统的可用性是弹力设计保障的重点。系统可用性测量对于分布式系统的容错设计，在英文中又叫 Resiliency(弹力)。意思是，系统在不健康、不顺，甚至出错的情...

首先，我们需要全栈系统监控，它就像是我们的眼睛，没有它，我们就不知道系统到底发生了什么，我们将无法管理或是运维整个分布式系统。所以，这个系统是非常非常关键的。而在分布式或 Cloud Native 的情况下，系统分成多层，服务各种关联，需要监控的东西特别多。没有一个好的监控系统，我们将无法进行自动化运维和资源调度。这个监控系统需要完成的功能为：全栈监控；关联分析；跨系统调用的串联；实时...

构建分布式系统的目的是增加系统容量，提高系统的可用性，转换成技术方面，也就是完成下面两件事。大流量处理。通过集群技术把大规模并发请求的负载分散到不同的机器上。关键业务保护。提高后台服务的可用性，把故障隔离起来阻止多米诺骨牌效应(雪崩效应)。如果流量过大，需要对业务降级，以保护关键业务流转。说白了就是干两件事。一是提高整体架构的吞吐量，服务更多的并发和流量，二是为了提高系统的稳定性，让系统的可用...

最近几年，我们一直在谈论各式各样的架构，如高并发架构、异地多活架构、容器化架构、微服务架构、高可用架构、弹性化架构等。还有和这些架构相关的管理型的技术方法，如 DevOps、应用监控、自动化运维、SOA 服务治理、去 IOE 等。面对这么多纷乱的技术，很多团队或是公司都是一个一个地去做这些技术，非常辛苦，也非常累。这样的做法就像我们在撑开一张网里面一个一个的网眼。其实，只要我们能够找到这张网的“纲...

https这项技术现在已经应用得非常广泛了。随着苹果、Google等各大互联网领头企业纷纷在自己的操作系统、浏览器等主流产品中强制要求使用https，http的淘汰也正式进入了倒计时。其实https对于客户端开发人员来说并没有什么需要特别注意的地方，因为代码和写http请求时并没有什么两样。但也正是因为这个原因，导致许多客户端开发人员对https并不了解，只知道它是安全的加密网络传输，对其具体的...

SQL 的存储过程，它是 SQL 中另一个重要应用，和视图一样，都是对 SQL 代码进行封装，可以反复利用。它和视图有着同样的优点，清晰、安全，还可以减少网络传输量。不过它和视图不同，视图是虚拟表，通常不对底层数据表直接操作，而存储过程是程序化的 SQL，可以直接操作底层数据表，相比于面向集合的操作方式，能够实现一些更复杂的数据处理。存储过程可以说是由 SQL 语句和流控制语句构成的语句集合，它和...