微服务学习

单体应用 - 微服务架构 - 容器化应用 - DevOps 

本文大部分摘自极客时间胡忠想老师的《从0开始学微服务》课程，对原文做了简单概括和修改

微服务的概述

微服务是由单一应用程序构成的小服务，拥 有自己的进程与轻量化处理，服务依业务功能设计，以全自动的方式部署，与其他服务使用

HTTP API 通讯。同时，服务会使用最小规模的集中管理 (例如 Docker)技术，服务可以 用不同的编程语言与数据库等。

服务化就是把 传统的单机应用中通过硬编码产生的本地方法调用，改造成通过 RPC 接口产生的远程 方法调用。降低了调用方和被调用方的耦合度，增加了可维护性。

可见通过服务化，可以解决单体应用膨胀、团队开发耦合度高、协作效率低下的问题。

单体服务的缺点：

1、部署效率低下

当单体应用的代码越来越多，依赖的资源越来 越多时，应用编译打包、部署测试一次，甚至需要 10 分钟以上。

2、团队协作开发成本高

在 早期团队开发人员只有两三个人的时候，协作修改 代码，最后合并到同一个 master 分支，然后打包部署，尚且可控。但是一旦团队人员扩 张，超过 5 人修改代码，然后一起打包部署，测试阶段只要有一块功能有问题，就得重 新编译打包部署，然后重新预览测试，所有相关的开发人员又都得参与其中，效率低下， 开发成本极高。

3、系统高可用性差

以Java语言为例，因为所有的功能开发最后都部署到同一个 WAR 包里，运行在同一个 Tomcat 进程之中，一旦某一功能涉及的代码或者资源有问题，那就会影响整个 WAR 包 中部署的功能。比这样一个问题，某段代码不断在内存中创建大对象，并且没 有回收，部署到线上运行一段时间后，就会造成 JVM 内存泄露，异常退出，那么部署在 同一个 JVM 进程中的所有服务都不可用，后果十分严重。

4、抑制了迭代周期的加快

传统一体式服务架构往往是牵一发而动全身，任何模块需要改动，都需要重新部署整个项目，所有项目融为一体。为了保证整个项目的稳定运行，所以不能太频繁的重新部署项目，所以注定迭代周期会变慢。

微服务的特点

服务拆分粒度更细

微服务可以说是更细维度的服务化，小到一个子模块，只要该模块依 赖的资源与其他模块都没有关系，那么就可以拆分为一个微服务。

服务独立部署

每个微服务都严格遵循独立打包部署的准则，互不影响。比如一台物理机 上可以部署多个 Docker 实例，每个 Docker 实例可以部署一个微服务的代码。

服务独立维护

每个微服务都可以交由一个小团队甚至个人来开发、测试、发布和运维， 并对整个生命周期负责。

服务治理能力要求高

因为拆分为微服务之后，服务的数量变多，因此需要有统一的服务 治理平台，来对各个服务进行管理。

总结：

单体应用原本的几个模块变成几个独立的服 务，每个服务依赖各自的资源，并独立部署在不同的服务池中，可以由不同的开发人员进行 维护。当某个服务需求变更时，只需要修改该业务相关的代码，并独立上线发布。

Microservice(微服务)的 优势

1、大大缩短了迭代周期

微服务架构是将复杂臃肿的单体应用进行细粒度的服务化拆分，每个拆分出来的 服务各自独立打包部署，并交由小团队进行开发和运维，从而极大地提高了应用交付的效 率，从而 大大缩短了迭代周期。

通俗的说就是：你变更部分代码，只需要上线部署代码所在的微服务就好，其他微服务并不需要感知。这种好处使得微服务架构下，代码变更 / 服务部署的频率大大增加，例如从之前的 3 个月部署一次，变为现在 1 天一次 or 多次。

2、增加了技术的可选择性(这个理解不知道对不对)

每种语言都有自己的适合的领域和服务，所以微服务可以让不同的服务可以用不同的语言来实现，提高整体效率

3、减少了上线前各个团队的出错概率

单体应用每次上线往往是多个团队的功能同时上线，这就增大了出错概率。比如有的人忘记提交代码、有的人忘记打包、有的人忘记修改工程依赖到最新版本。一次上 线过程需要反复确认，耗费了大量精力，严重影响了整体的开发和部署效率。

注意事项：

子系统越来越多， 重复造轮子的情况也越来越频繁，但我以为小团队还是不要轻易采用微 服务方案，毕竟，创业初期人员有限，应该以项目目标实现为第一要务。

微服务架构的技术门槛非常高，没有充裕的技术人员不要轻易入坑。单体应用并不是就一定很脆弱，如果系统本身不稳 定，服务拆分了也不一定稳定；如果开发效率不高，没准是流程问题，系统本身设计问题耦合 严重；单体应用设计不好，玩不转，服务拆分后更乱。

服务化拆分的两种姿势

纵向拆分

将不同的功能模块进行服务化，独立 部署和运维。这种服务化拆分方式是纵向拆分，是从业务维度进行拆分。标准是按照业务的关联程度来决

定，关联比较密切的业务适合拆分到同一个微服务，而功能相对比较独立的业务适合单独拆分 为一个微服务。

横向拆分

是从公共且独立功能维度拆分。标准是按照是否有公 共的被多个其他服务调用，且依赖的资源独立不与其他业务耦合。以一个社交 App 举例，无论是首页信息流、评论、消息箱还是个人主页，都需 要显示用户的昵称。假如用户的昵称功能有产品需求的变更，你需要上线几乎所有的服务， 这个成本就有点高了。显而易见，如果把用户的昵称功能单独部署成一个独立的服务，那 么有什么变更只需要上线这个服务即可，其他服务不受影响，开发和上线成本就大大降低 了。

服务化拆分的前置条件

一般情况下，业务系统引入新技术就必然会带来架构的复杂度提升，在具体决策前，你先要 认识到新架构会带来哪些新的问题，这些问题你和你的团队是否能够解决？如何解决？是自 己投入人力建设，还是采用业界开源方案？

下面几个问题，是从单体应用迁移到微服务架构时必将面临也必须解决的。

服务如何定义(服务之间如何相互调用)。对于单体应用来说，不同功能模块之前相互交互时，通常是以类库的方式来提供各个模块的功能。对于微服务来说，每个服务都运行在各自的进程之中，应该以何种形式向外界传达自己的信息呢？ 答案就是接口，无论采用哪种通讯协议，是 HTTP 还是 RPC，服务之间的调用都通过接口描述来约定，约定内容包括接口名、接口参数以及接口返回值。这两种接口都是通过来进行接口通信，但是 网络调用的一大特点就是不确定性， 数据是否被接收，是否被处理，数据格式是否发生变化等，受很多网络因素的影响。

服务如何发布和订阅。单体应用由于部署在同一个 WAR 包里， 接口之间的调用属于进程 内的调用。而拆分为微服务独立部署后，服务提供者该如何对外暴露自己的地址，服务调用者该如何查询所需要调用的服务的地址呢？这个时候你就需要一个类似登记处的地方，能够记录每个服务提供者的地址以供服务调用者查询，在微服务架构里，这个地方就是 注 册中心。

服务如何监控。通常对于一个服务，我们最关心的是 QPS(调用量)、AvgTime(平均 耗时)以及 P999(99.9% 的请求性能在多少毫秒以内)这些指标。这时候你就需要一种 通用的监控方案，能够覆盖业务埋点、数据收集、数据处理，最后到数据展示的全链路功 能。

服务如何治理。可以想象，拆分为微服务架构后，服务的数量变多了，依赖关系也变复杂 了。比如一个服务的性能有问题时，依赖的服务都势必会受到影响。可以设定一个调用性 能阈值，如果一段时间内一直超过这个值，那么依赖服务的调用可以直接返回，这就是熔 断，也是服务治理最常用的手段之一。

故障如何定位。在单体应用拆分为微服务之后，一次用户调用可能依赖多个服务，每个服 务又部署在不同的节点上，如果用户调用出现问题，你需要有一种解决方案能够将一次用 户请求进行标记，并在多个依赖的服务系统中继续传递，以便串联所有路径，从而进行故 障定位。

微服务架构

首先服务提供者(就是提供服务的一方)按照一定格式的服务描述，向注册中心注册服务， 声明自己能够提供哪些服务以及服务的地址是什么，完成服务发布。

接下来服务消费者(就是调用服务的一方)请求注册中心，查询所需要调用服务的地址，然 后以约定的通信协议向服务提供者发起请求，得到请求结果后再按照约定的协议解析结果。

而且在服务的调用过程中，服务的请求耗时、调用量以及成功率等指标都会被记录下来用作 监控，调用经过的链路信息会被记录下来，用于故障定位和问题追踪。在这期间，如果调用 失败，可以通过重试等服务治理手段来保证成功率。

总结一下，微服务架构下，服务调用主要依赖下面几个基本组件： 服务描述、 注册中心(服务发现)、服务调用框架、服务监控、服务追踪、服务治理

服务描述

服务调用首先要解决的问题就是服务如何对外描述。比如，你对外提供了一个服务，那么这 个服务的服务名叫什么？调用这个服务需要提供哪些信息？调用这个服务返回的结果是什么 格式的？该如何解析？这些就是服务描述要解决的问题。

常用的服务描述方式包括 RESTful API、 XML 配置以及 IDL 文件三种。

RESTful API 

方式通常用于 HTTP 协议的服务描述

因为 HTTP 协议本身是一个公开的协 议，对于服务消费者来说几乎没有学习成本，所以比较适合用作跨业务平台之间的服务协 议。比如你有一个服务，不仅需要在业务部门内部提供服务，还需要向其他业务部门提供服 务，甚至开放给外网提供服务，这时候采用 HTTP 协议就比较合适，也省去了沟通服务协 议的成本。

XML 配置方式

多用作 RPC 协议的服务描述，通过 *.xml 配置文件来定义接口名、参数以及 返回值类型等。

这种方式的服务发布和引用主要分三个步骤：

• 服务提供者定义接口，并实现接口。
• 服务提供者进程启动时，通过加载 server.xml 配置文件将接口暴露出去。
• 服务消费者进程启动时，通过加载 client.xml 配置文件来引入要调用的接口。

通过在服务提供者和服务消费者之间维持一份对等的 XML 配置文件，来保证服务 消费者按照服务提供者的约定来进行服务调用。在这种方式下，如果服务提供者变更了接口 定义，不仅需要更新服务提供者加载的接口描述文件 server.xml，还需要同时更新服务消 费者加载的接口描述文件 client.xml。

一般是私有 RPC 框架会选择 XML 配置这种方式来描述接口，因为私有 RPC 协议的性能要比 HTTP 协议高，所以在对性能要求比较高的场景下，采用 XML 配置的方式比较合适。但这种方式对业务代码侵入性比较高，XML 配置有变更的时候，服务消费者和服务提供者都要更新，所以适合公司内部联系比较紧密的业务之间采用。如果要应用到跨部门之间的业务调用，一旦有 XML 配置变更，需要花费大量精力去协调不同部门做升级工作。所以对于 XML 配置方式的服务描述，一旦应用到多个部门之间的接口格式约定，如果有变更，最好 是新增接口，不到万不得已不要对原有的接口格式做变更。

IDL 文件方式

IDL 就是接口描述语言(interface description language)的缩写，通过一种中立的方式 来描述接口，使得在不同的平台上运行的对象和不同语言编写的程序可以相互通信交流。比 如你用 Java 语言实现提供的一个服务，也能被 PHP 语言调用。

IDL文件方式通常用作 Thrift 和 gRPC 这类跨语言服务调用框架中，比如 gRPC 就是通过 Protobuf 文件来定义服务的接口名、参数以及返回值的数据结构

IDL 主要是用作跨语言平台的服务之间的调用，有两种最常用的 IDL：一个是 Facebook 开源的Thrift 协议，另一个是 Google 开源的gRPC 协议。无论是 Thrift 协议 还是 gRPC 协议，它们的工作原理都是类似的。 比如 gRPC 就是通过 Protobuf 文件来定义服务的接口名、参数以及返回值的数据结构， 然后再使用 protoc 来 生成不同语言平台的客户端和服务端代码，从而具备跨语言服务调用能力。

有一点特别需要注意的是，在描述接口定义时，IDL 文件需要对接口返回值进行详细定义。 如果接口返回值的字段比较多，并且经常变化时，采用 IDL 文件方式的接口定义就不太合 适了。一方面可能会造成 IDL 文件过大难以维护，另一方面只要 IDL 文件中定义的接口返 回值有变更，都需要同步所有的服务消费者都更新，管理成本就太高了。

总结：

具体采用哪种服务描述方式是根据实际情况决定的，通常情况下，如果只是企业内部之间的 服务调用，并且都是 Java 语言的话，选择 XML 配置方式是最简单的。如果企业内部存在 多个服务，并且服务采用的是不同语言平台，建议使用 IDL 文件方式进行描述服务。如果 还存在对外开放服务调用的情形的话，使用 RESTful API 方式则更加通用。

  注意：idl跟通信协议无关，grpc用的是http2，可以理解是七层，thrift用的是tcp，四层

注册中心(Registry )

有了服务的接口描述，下一步要解决的问题就是服务的发布和订阅，就是说你提供了一个服 务，如何让外部想调用你的服务的人知道。这个时候就需要一个类似注册中心的角色，服务 提供者将自己提供的服务以及地址登记到注册中心，服务消费者则从注册中心查询所需要调 用的服务的地址，然后发起请求。

一般来讲，注册中心的工作流程是：

1. 服务提供者(RPC Server)在启动时，根据服务发布文件中配置的发布信息向注册中心注册自己的服务。并向 Registry 定期发送心跳汇报存活状态。
2. 服务消费者(RPC Client )在启动时，根据消费者配置文件中配置的服务信息向注册中心订阅自己所需要的服务。
3. 注册中心返回服务提供者地址列表给服务消费者。RPC client 把 Registry 返回的服务节点列表缓存在本地内存中
4. 服务消费者从本地缓存的服务节点列表中，基于负载均衡算法选择一台 RPC Sever 发起调用。
5. 当服务提供者发生变化，比如有节点新增或者销毁，注册中心会同步变更并将变更通知给服务消费者。RPC Client 感知后会刷新本地内存中缓存的服务节点列表。

注册中心实现方式

注册中心的实现主要涉及几个问题：注册中心需要提供哪些接口，该如何部署；如何存储服 务信息；如何监控服务提供者节点的存活；如果服务提供者节点有变化如何通知服务消费 者，以及如何控制注册中心的访问权限。

1. 注册中心 API

根据注册中心原理的描述，注册中心必须提供以下最基本的 API，例如：

• 服务注册接口：服务提供者通过调用服务注册接口来完成服务注册。
• 服务反注册接口：服务提供者通过调用服务反注册接口来完成服务注销。
• 心跳汇报接口：服务提供者通过调用心跳汇报接口完成节点存活状态上报。
• 服务订阅接口：服务消费者通过调用服务订阅接口完成服务订阅，获取可用的服务提供者节点列表。
• 服务变更查询接口：服务消费者通过调用服务变更查询接口，获取最新的可用服务节点列表。

除此之外，为了便于管理，注册中心还必须提供一些后台管理的 API，例如：

• 服务查询接口：查询注册中心当前注册了哪些服务信息。
• 服务修改接口：修改注册中心中某一服务的信息。

2. 集群部署

注册中心作为服务提供者和服务消费者之间沟通的桥梁，它的重要性不言而喻。所以注册中 心一般都是采用集群部署来保证高可用性，并通过分布式一致性协议来确保集群中不同节点 之间的数据保持一致。常见部署方式为zookeeper。

3. 目录存储

以 ZooKeeper 为例， 注册中心存储服务信息一般采用层次化的目录结构：

4. 服务健康状态检测

注册中心除了要支持最基本的服务注册和服务订阅功能以外，还必须具备对服务提供者节点 的健康状态检测功能，这样才能保证注册中心里保存的服务节点都是可用的。

以 ZooKeeper 为例，它是基于 ZooKeeper 客户端和服务端的长连接和会话超时控制 机制，来实现服务健康状态检测的。

在 ZooKeeper 中，客户端和服务端建立连接后，会话也随之建立，并生成一个全局唯一的 Session ID。服务端和客户端维持的是一个长连接，在 SESSION_TIMEOUT 周期内，服务 端会检测与客户端的链路是否正常，具体方式是通过客户端定时向服务端发送心跳消息 (ping 消息)，服务器重置下次 SESSION_TIMEOUT 时间。如果超过 SESSION_TIMEOUT 后服务端都没有收到客户端的心跳消息，则服务端认为这个 Session 就已经结束了，ZooKeeper 就会认为这个服务节点已经不可用，将会从注册中心中删除其 信息。

5. 服务状态变更通知

一旦注册中心探测到有服务提供者节点新加入或者被剔除，就必须立刻通知所有订阅该服务 的服务消费者，刷新本地缓存的服务节点信息，确保服务调用不会请求不可用的服务提供者 节点。

继续以 ZooKeeper 为例，基于 ZooKeeper 的 Watcher 机制，来实现服务状态变更通知 给服务消费者的。服务消费者在调用 ZooKeeper 的 getData 方法订阅服务时，还可以通 过监听器 Watcher 的 process 方法获取服务的变更，然后调用 getData 方法来获取变更 后的数据，刷新本地缓存的服务节点信息。

6. 白名单机制

在实际的微服务测试和部署时，通常包含多套环境，比如生产环境一套、测试环境一套。开 发在进行业务自测、测试在进行回归测试时，一般都是用测试环境，部署的 RPC Server 节 点注册到测试的注册中心集群。但经常会出现开发或者测试在部署时，错误的把测试环境下 的服务节点注册到了线上注册中心集群，这样的话线上流量就会调用到测试环境下的 RPC Server 节点，可能会造成意想不到的后果。

为了防止这种情况发生，注册中心需要提供一个保护机制，你可以把注册中心想象成一个带 有门禁的房间，只有拥有门禁卡的 RPC Server 才能进入。在实际应用中，注册中心可以提 供一个白名单机制，只有添加到注册中心白名单内的 RPC Server，才能够调用注册中心的 注册接口，这样的话可以避免测试环境中的节点意外跑到线上环境中去。

总结

注册中心可以说是实现服务化的关键，因为服务化之后，服务提供者和服务消费者不在同一 个进程中运行，实现了解耦，这就需要一个纽带去连接服务提供者和服务消费者，而注册中 心就正好承担了这一角色。此外，服务提供者可以任意伸缩即增加节点或者减少节点，通过 服务健康状态检测，注册中心可以保持最新的服务节点信息，并将变化通知给订阅服务的服 务消费者。 注册中心一般采用分布式集群部署，来保证高可用性，并且为了实现异地多活，有的注册中 心还采用多 IDC 部署，这就对数据一致性产生了很高的要求，这些都是注册中心在实现时 必须要解决的问题。

问：采用注册中心来实现服务发现与传统的 DNS 实现服务发现有什么不同吗？

dns相较于zk这样的注册中 心，劣势在于1. dns的维护管理比较麻烦，甚至需要手工配置 2.dns更新后生效有延迟 3. 客户端一般只能同时连接到一个server ip，无法做请求的负载均衡，而注册中心的方式通 常客户端会与所有server建立连接形成连接池，从而在调用端实现请求的负载均衡

其实dns最大的劣势是不能实现端口级别的服务发现

服务调用框架

通过注册中心，服务消费者就可以获取到服务提供者的地址，有了地址后就可以发起调用。 但在发起调用之前你还需要解决以下几个问题。

1. 客户端和服务端如何建立网络连接？服务通信采用什么协议？就是说服务提供者和服务消费者之间以什么样的协议进行网络通信，是采用四层 TCP、UDP 协议，还是采用七层 HTTP 协议，还是采用其他协议？
2. 数据传输采用什么方式？就是说服务提供者和服务消费者之间的数据传输采用哪种方式，是同步还是异步，是在单连接上传输，还是多路复用。
3. 数据压缩采用什么格式？通常数据传输都会对数据进行压缩，来减少网络传输的数据量，从而减少带宽消耗和网络传输时间，比如常见的 JSON 序列化、Java 对象序列化以及Protobuf 序列化等。

客户端和服务端如何建立网络连接？

最常见的有两种方式：http通信和socket通信

1. HTTP 通信

HTTP 通信是基于应用层 HTTP 协议的，而 HTTP 协议又是基于传输层 TCP 协议的。一次 HTTP 通信过程就是发起一次 HTTP 调用，而一次 HTTP 调用就会通过三次握手建立一个 TCP 连接

2. Socket 通信

Socket 通信是基于 TCP/IP 协议的封装，建立一次 Socket 连接至少需要一对套接字，其 中一个运行于客户端，称为 ClientSocket ；另一个运行于服务器端，称为 ServerSocket 。Socket 通信的过程分为四个步骤：服务器监听、客户端请求、连接 确认、数据传输。

• 服务器监听：ServerSocket 通过调用 bind() 函数绑定某个具体端口，然后调用 listen()函数实时监控网络状态，等待客户端的连接请求。
• 客户端请求：ClientSocket 调用 connect() 函数向 ServerSocket 绑定的地址和端口发起连接请求。
• 服务端连接确认：当 ServerSocket 监听到或者接收到 ClientSocket 的连接请求时，调用 accept() 函数响应 ClientSocket 的请求，同客户端建立连接。
• 数据传输：当 ClientSocket 和 ServerSocket 建立连接后，ClientSocket 调用 send()函数，ServerSocket 调用 receive() 函数，ServerSocket 处理完请求后，调用 send()函数，ClientSocket 调用 receive() 函数，就可以得到得到返回结果。

当客户端和服务端建立网络连接后，就可以发起请求了。但网络不一定总是可靠的，经常会 遇到网络闪断、连接超时、服务端宕机等各种异常，通常的处理手段有两种。

链路存活检测：客户端需要定时地发送心跳检测消息(一般是通过 ping 请求)给服务 端，如果服务端连续 n 次心跳检测或者超过规定的时间都没有回复消息，则认为此时链 路已经失效，这个时候客户端就需要重新与服务端建立连接。

断连重试：通常有多种情况会导致连接断开，比如客户端主动关闭、服务端宕机或者网络 故障等。这个时候客户端就需要与服务端重新建立连接，但一般不能立刻完成重连，而是 要等待固定的间隔后再发起重连，避免服务端的连接回收不及时，而客户端瞬间重连的请 求太多而把服务端的连接数占满。

服务端如何处理请求？

假设这时候客户端和服务端已经建立了网络连接，服务端又该如何处理客户端的请求呢？通 常来讲，有三种处理方式。

同步阻塞方式(BIO)，客户端每发一次请求，服务端就生成一个线程去处理。当客户端同时发起的请求很多时，服务端需要创建很多的线程去处理每一个请求，如果达到了系统最大的线程数瓶颈，新来的请求就没法处理了。 使用场景：连接数目少、服务器资源多、

同步非阻塞方式 (NIO)，客户端每发一次请求，服务端并不是每次都创建一个新线程来处理，而是通过 I/O 多路复用技术进行处理。就是把多个 I/O 的阻塞复用到同一个 select的阻塞上，从而使系统在单线程的情况下可以同时处理多个客户端请求。这种方式的优势是开销小，不用为每个请求创建一个线程，可以节省系统开销。 使用场景：连接数目多、连接时间短、请求消耗比较轻的业务场景。比如聊天服务器。

异步非阻塞方式(AIO)，客户端只需要发起一个 I/O 操作然后立即返回，等 I/O 操作真正完成以后，客户端会得到 I/O 操作完成的通知，此时客户端只需要对数据进行处理就好了，不需要进行实际的 I/O 读写操作，因为真正的 I/O 读取或者写入操作已经由内核完成了。这种方式的优势是客户端无需等待，不存在阻塞等待问题。 使用场景：连接数目多、连接时间长、请求消耗比较重的业务场景。比如涉及 I/O 操作的相册服 务器。

上面两个问题就是“ 通信框架”要解决的问题，你可以基于现有的 Socket 通信，在服务消费者和服务提供者之间建立网络连接，然后在服务提供者一侧基于 BIO、NIO 和 AIO 三种方式中的任意一种实现服务端请求处理，最后再花费一些精力去解决服务消费者和服务提供者之间的网络可靠性问题。可以使用成熟的开源方案，比如 Netty、MINA 等来实现。

现在服务端最主流的处理方式应该是nio方式，因为Linux上并没有提供aio接口，epoll也 是nio方式。(存疑， 未验证)

假设客户端和服务端的连接已经建立了，服务端也能正确地处理请求了，接下来完成一次正常地 RPC 调用还需要解决两个问题，即 数据传输采用什么协议以及 数据该如何序列化和反 序列化。

数据传输采用什么协议？

最常用的有 HTTP 协议，它是一种开放的协议，各大网站的服务器和浏览器之间的数据传输大都采用了这种协议。还有一些定制的私有协议，比如阿里巴巴开源的 Dubbo 协议，也可以用于服务端和客户端之间的数据传输。无论是开放的还是私有的协议，都必须定义一个 “契约”，以便服务消费和服务提供者之间能够达成共识。服务消费者按照契约，对传输的数据进行编码，然后通过网络传输过去；服务提供者从网络上接收到数据后，按照契约，对传输的数据进行解码，然后处理请求，再把处理后的结果进行编码，通过网络传输返回给服务消费者；服务消费者再对返回的结果进行解码，最终得到服务提供者处理后的返回值。

通常协议契约包括两个部分： 消息头和 消息体。其中消息头存放的是协议的公共字段以及用 户扩展字段，消息体存放的是传输数据的具体内容。

数据该如何序列化和反序列化？

一般数据在网络中进行传输前，都要先在发送方一端对数据进行编码，经过网络传输到达另 一端后，再对数据进行解码，这个过程就是序列化和反序列化。 序列化是为了解决内存中数 据结构到字节序列的映射过程中，如何保留各个结构和字段间的关系而生的技术。序列化就需要对数据数据进行编码， 对数据进行编码也能减小数据传输量，减少传输耗时。

常用的序列化方式分为两类：文本类如 XML/JSON 等，二进制类如 PB/Thrift 等，而具体 采用哪种序列化方式，主要取决于三个方面的因素。

• 支持数据结构类型的丰富度。数据结构种类支持的越多越好，这样的话对于使用者来说在编程时更加友好，有些序列化框架如 Hessian 2.0 还支持复杂的数据结构比如 Map、List 等。
• 跨语言支持。序列化方式是否支持跨语言也是一个很重要的因素，否则使用的场景就比较局限，比如 Java 序列化只支持 Java 语言，就不能用于跨语言的服务调用了。
• 性能。主要看两点，一个是序列化后的压缩比，一个是序列化的速度。以常用的 PB 序列化和 JSON 序列化协议为例来对比分析，PB 序列化的压缩比和速度都要比 JSON 序列化高很多，所以对性能和存储空间要求比较高的系统选用 PB 序列化更合适；而 JSON 序列化虽然性能要差一些，但可读性更好，更适合对外部提供服务。

总结

通信框架提供了 基础的通信能力， 通信协 议描述了通信契约，而 序列化和反序列化则用于数据的编 / 解码。这三个部分就组成了一个完整的 RPC 调用框架

服务监控

一旦服务消费者与服务提供者之间能够正常发起服务调用，你就需要对调用情况进行监控，

以了解服务是否正常。通常来讲，服务监控主要包括四个流程。

1. 指标收集。就是要把每一次服务调用的请求耗时以及成功与否收集起来
2. 数据传输：采集到数据之后，要把数据通过一定的方式传输给数据处理中心进行处理。
3. 数据处理。数据传输过来后，数据处理中心再按照服务的维度进行聚合，计算出不同服务的请求量、响应时间以及错误率等信息并存储起来。
4. 数据展示。数据收集起来，经过处理之后，还需要以友好的方式对外展示，才能发挥价值。通常都是将数据展示在 Dashboard 面板上，并且每隔 10s 等间隔自动刷新，用作业务监控和报警等。

在讲述如何监控微服务调用前，首先你要搞清楚三个问题： 监控的对象是什么？具体监控哪些指标？从哪些维度进行监控？

监控对象

对于微服务系统来说，监控对象 可以分为四个层次，由上到下可归纳为：

用户端监控。 通常是指直接对用户提供的业务功能的监控。以微博首页 Feed 为例，它向用户提供了聚合关注的所有人的微博并按照时间顺序浏览的功能，对首页 Feed 功能的监控就属于用户端的监控。

接口监控。通常是指业务提供的功能所依赖的具体 RPC 接口的监控。对依赖服务的调用情况的监控就属于接口监控。

资源监控。 通常是指某个接口依赖的资源的监控。比如用户关注了哪些人的关系服务使用的是 Redis 来存储关注列表，对 Redis 的监控就属于资源监控。

基础监控。 通常是指对服务器本身的健康状况的监控。主要包括 CPU 利用率、内存使用量、I/O 读写量、网卡带宽等。对服务器的基本监控也是必不可少的，因为服务器本身的健康状况也是影响服务本身的一个重要因素，比如服务器本身连接的网络交换机上联带宽被打满，会影响所有部署在这台服务器上的业务。

监控指标

搞清楚要监控的对象之后，需要监控具体哪些指标呢？通常有以下几个 业务指标需要重点监控：

请求量。请求量监控分为两个维度，一个是实时请求量，一个是统计请求量。实时请求量用 QPS(Queries Per Second)即每秒查询次数来衡量，它反映了服务调用的实时变化情况。统计请求量一般用 PV(Page View)即一段时间内用户的访问量来衡量，比如一天的 PV 代表了服务一天的请求量，通常用来统计报表。

响应时间。大多数情况下，可以用一段时间内所有调用的平均耗时来反映请求的响应时间。但它只代表了请求的平均快慢情况，有时候我们更关心慢请求的数量。为此需要把响应时间划分为多个区间，比如 0～10ms、10ms～50ms、50ms～100ms、100ms～500ms、500ms 以上这五个区间，其中 500ms 以上这个区间内的请求数就代表了慢请求量，正常情况下，这个区间内的请求数应该接近于 0；在出现问题时，这个区间内的请求数会大幅增加，可能平均耗时并不能反映出这一变化。除此之外，还可以从 P90、P95、P99、P999 角度来监控请求的响应时间，比如 P99 = 500ms，意思是 99% 的请求响应时间在 500ms 以内，它代表了请求的服务质量，即 SLA。

错误率。错误率的监控通常用一段时间内调用失败的次数占调用总次数的比率来衡量，比 如对于接口的错误率一般用接口返回错误码为 503 的比率来表示。

监控维度

一般来说，要从多个维度来对业务进行监控，具体来讲可以包括下面几个维度：

全局维度

从整体角度监控对象的的请求量、平均耗时以及错误率，全局维度的监控一般 是为了让你对监控对象的调用情况有个整体了解。

分机房维度

一般为了业务的高可用性，服务通常部署在不止一个机房，因为不同机房地 域的不同，同一个监控对象的各种指标可能会相差很大，所以需要深入到机房内部去了 解。

单机维度

即便是在同一个机房内部，可能由于采购年份和批次的不同，位于不同机器上 的同一个监控对象的各种指标也会有很大差异。一般来说，新采购的机器通常由于成本更 低，配置也更高，在同等请求量的情况下，可能表现出较大的性能差异，因此也需要从单 机维度去监控同一个对象。

时间维度

同一个监控对象，在每天的同一时刻各种指标通常也不会一样，这种差异要么 是由业务变更导致，要么是运营活动导致。为了了解监控对象各种指标的变化，通常需要 与一天前、一周前、一个月前，甚至三个月前做比较。

核心维度

业务上一般会依据重要性程度对监控对象进行分级，最简单的 是分成核心业务和非核心业务。核心业务和非核心业务在部署上必须隔离，分开监控，这 样才能对核心业务做重点保障。

明确了这几个关键的问题后，那么该如何搭建一个监控系统，来完成上面这些监控功能呢？

监控系统原理

上面已经介绍过监控系统主要包括四个环节： 数据采集、 数据传输、 数据处理和 数据展示。下面简单一 下每一个环节的实现原理。

1、数据采集

通常有两种数据收集方式：

• 服务主动上报，这种处理方式通过在业务代码或者服务框架里加入数据收集代码逻辑，在每一次服务调用完成后，主动上报服务的调用信息。
• 代理收集，这种处理方式通过服务调用后把调用的详细信息记录到本地日志文件中，然后再通过代理去解析本地日志文件，然后再上报服务的调用信息。

无论哪种数据采集方式，首先要考虑的问题就是采样率，也就是采集数据的频率。采样率决 定了监控的实时性与精确度，一般来说，采样率越高，监控的实时性就越高，精确度也越 高。但采样对系统本身的性能也会有一定的影响，尤其是采集后的数据需要写到本地磁盘的 时候，过高的采样率会导致系统写入磁盘的 I/O 过高，进而会影响到正常的服务调用。所 以设置合理的采用率是数据采集的关键，最好是可以动态控制采样率，在系统比较空闲的时 候加大采样率，追求监控的实时性与精确度；在系统负载比较高的时候减小采样率，追求监 控的可用性与系统的稳定性。

2、数据传输

这里的数据传输和上面提到的服务之间的数据传输其实是一样的，都是服务之间的数据传输，因为数据收集服务和数据处理服务一般都不是同一个服务。数据传输最常用的方式有两种：

无论采用哪种传输方式，数据格式都十分重要，尤其是对带宽敏感以及解析性能要求比较高 的场景，一般数据传输时采用的数据格式有两种：

• UDP 传输，这种处理方式是数据处理单元提供服务器的请求地址，数据采集后通过 UDP协议与服务器建立连接，然后把数据发送过去。
• Kafka 传输，这种处理方式是数据采集后发送到指定的 Topic，然后数据处理单元再订阅对应的 Topic，就可以从 Kafka 消息队列中读取到对应的数据。

二进制协议，最常用的就是 PB (protocol buffers)对象，它的优点是高压缩比和高性能，可以减少传输带宽并且序列化和反序列化效率特别高。

文本协议，最常用的就是 JSON 字符串，它的优点是可读性好，但相比于 PB 对象，传 输占用带宽高，并且解析性能也要差一些。

3、数据处理

数据处理是对收集来的原始数据进行聚合并存储。数据聚合通常有两个维度：

• 接口维度聚合，这个维度是把实时收到的数据按照接口名维度实时聚合在一起，这样就可以得到每个接口的实时请求量、平均耗时等信息。
• 机器维度聚合，这个维度是把实时收到的数据按照调用的节点维度聚合在一起，这样就可以从单机维度去查看每个接口的实时请求量、平均耗时等信息。

聚合后的数据需要持久化到数据库中存储，所选用的数据库一般分为两种：

• 索引数据库，比如 Elasticsearch，以倒排索引的数据结构存储，需要查询的时候，根据索引来查询。
• 时序数据库，比如 OpenTSDB，以时序序列数据的方式存储，查询的时候按照时序如1min、5min 等维度来查询。

4、数据展示

数据展示是把处理后的数据以 Dashboard 的方式展示给用户。数据展示有多种方式，比如 曲线图、饼状图、格子图展示等。

• 曲线图。一般是用来监控变化趋势的
• 饼状图。一般是用来监控占比分布的
• 格子图。主要做一些细粒度的监控

总结

服务监控在微服务改造过程中的重要性不言而喻，没有强大的监控能力，改造成微服务架构 后，就无法掌控各个不同服务的情况，在遇到调用失败时，如果不能快速发现系统的问题， 对于业务来说就是一场灾难。

服务追踪

除了需要对服务调用情况进行监控之外，你还需要记录服务调用经过的每一层链路，以便进 行问题追踪和故障定位。

服务追踪的工作原理大致如下：

• 服务消费者发起调用前，会在本地按照一定的规则生成一个 requestid，发起调用时，将requestid 当作请求参数的一部分，传递给服务提供者。
• 服务提供者接收到请求后，记录下这次请求的 requestid，然后处理请求。如果服务提供者继续请求其他服务，会在本地再生成一个自己的 requestid，然后把这两个 requestid都当作请求参数继续往下传递。

以此类推，通过这种层层往下传递的方式，一次请求，无论最后依赖多少次服务调用、经过 多少服务节点，都可以通过最开始生成的 requestid 串联所有节点，从而达到服务追踪的 目的。

服务追踪的作用

在介绍追踪原理与实现之前，我们先来看看服务追踪的作用。除了刚才说的能够快速定位请 求失败的原因以外，这里再列出四点，它们可以帮你在微服务改造过程中解决不少问题。

第一，优化系统瓶颈。

通过记录调用经过的每一条链路上的耗时，我们能快速定位整个系统的瓶颈点在哪里。比如 你访问某个 app的首页发现很慢，肯定是由于某种原因造成的，有可能是运营商网络延迟，有可能 是网关系统异常，有可能是某个服务异常，还有可能是缓存或者数据库异常。通过服务追 踪，可以从全局视角上去观察，找出整个系统的瓶颈点所在，然后做出针对性的优化。

第二，优化链路调用。

通过服务追踪可以分析调用所经过的路径，然后评估是否合理。比如一个服务调用下游依赖 了多个服务，通过调用链分析，可以评估是否每个依赖都是必要的，是否可以通过业务优化 来减少服务依赖。

还有就是，一般业务都会在多个数据中心都部署服务，以实现异地容灾，这个时候经常会出 现一种状况就是服务 A 调用了另外一个数据中心的服务 B，而没有调用同处于一个数据中 心的服务 B。

跨数据中心的调用视距离远近都会有一定的网络延迟，像北京和广州这种几 千公里距离的网络延迟可能达到 30ms 以上，这对于有些业务几乎是不可接受的。通过对 调用链路进行分析，可以找出跨数据中心的服务调用，从而进行优化，尽量规避这种情况出 现。

第三，生成网络拓扑。

通过服务追踪系统中记录的链路信息，可以生成一张系统的网络调用拓扑图，它可以反映系 统都依赖了哪些服务，以及服务之间的调用关系是什么样的，可以一目了然。除此之外，在 网络拓扑图上还可以把服务调用的详细信息也标出来，也能起到服务监控的作用。

第四，透明传输数据。

除了服务追踪，业务上经常有一种需求，期望能把一些用户数据，从调用的开始一直往下传 递，以便系统中的各个服务都能获取到这个信息。比如业务想做一些 A/B 测试，这时候就 想通过服务追踪系统，把 A/B 测试的开关逻辑一直往下传递，经过的每一层服务都能获取 到这个开关值，就能够统一进行 A/B 测试。

服务追踪系统原理

核心理念就是调用链：通过一个全局唯一的 ID 将分布在各个服务 节点上的同一次请求串联起来，从而还原原有的调用关系，可以追踪系统问题、分析调用数 据并统计各种系统指标。

要理解服务追踪的原理，首先必须搞懂一些基本概念：traceId、spanId、annonation 等。

traceId，用于标识某一次具体的请求 ID。当用户的请求进入系统后，会在 RPC 调用网 络的第一层生成一个全局唯一的 traceId，并且会随着每一层的 RPC 调用，不断往后传 递，这样的话通过 traceId 就可以把一次用户请求在系统中调用的路径串联起来。

spanId，用于标识一次 RPC 调用在分布式请求中的位置。当用户的请求进入系统后，处 在 RPC 调用网络的第一层 A 时 spanId 初始值是 0，进入下一层 RPC 调用 B 的时候 spanId 是 0.1，继续进入下一层 RPC 调用 C 时 spanId 是 0.1.1，而与 B 处在同一层的 RPC 调用 E 的 spanId 是 0.2，这样的话通过 spanId 就可以定位某一次 RPC 请求在系 统调用中所处的位置，以及它的上下游依赖分别是谁。

annotation，用于业务自定义埋点数据，可以是业务感兴趣的想上传到后端的数据，比如一次请求的用户 UID。

traceId 是用于串联某一次请求在系统中经 过的所有路径，spanId 是用于区分系统不同服务之间调用的先后关系，而 annotation 是 用于业务自定义一些自己感兴趣的数据，在上传 traceId 和 spanId 这些基本信息之外，添 加一些自己感兴趣的信息。

服务追踪系统实现

美团的服务追踪系统 MTrace 系统架构

上面是服务追踪系统架构图，你可以看到一个服务追踪系统可以分为三层。

• 数据采集层，负责数据埋点并上报。
• 数据处理层，负责数据的存储与计算。
• 数据展示层，负责数据的图形化展示。

下面来看看具体每一层的实现方式是什么样的。

1. 数据采集层

数据采集层的作用就是在系统的各个不同模块中进行埋点，采集数据并上报给数据处理层进 行处理。

那么该如何进行数据埋点呢？结合下面这张图来了解一下数据埋点的流程。

以红色方框里圈出的 A 调用 B 的过程为例，一次 RPC 请求可以分为四个阶段。

CS(Client Send)阶段 : 客户端发起请求，并生成调用的上下文。

SR(Server Recieve)阶段 : 服务端接收请求，并生成上下文。

SS(Server Send)阶段 : 服务端返回请求，这个阶段会将服务端上下文数据上报，下面 这张图可以说明上报的数据有：traceId=123456，spanId=0.1，appKey=B， method=B.method，start=103，duration=38。

CR(Client Recieve)阶段 : 客户端接收返回结果，这个阶段会将客户端上下文数据上 报，上报的数据有：traceid=123456，spanId=0.1，appKey=A， method=B.method，start=103，duration=38。

2. 数据处理层

数据处理层的作用就是把数据采集层上报的数据按需计算，然后落地存储供查询使用。

数据处理的需求一般分为两类，一类是 实时计算需求，一类是 离线计算需求。

实时计算需求对计算效率要求比较高，一般要求对收集的链路数据能够在秒级别完成聚合计 算，以供实时查询。而离线计算需求对计算效率要求就没那么高了，一般能在小时级别完成 链路数据的聚合计算即可，一般用作数据汇总统计。针对这两类不同的数据处理需求，采用 的计算方法和存储也不相同。

针对实时数据处理，一般采用 Storm 或者 Spark Streaming 来对链路数据进行实时聚合加 工，存储一般使用 OLTP 数据仓库，比如 HBase，使用 traceId 作为 RowKey，能天然地 把一整条调用链聚合在一起，提高查询效率。

针对离线数据处理，一般通过运行 MapReduce 或者 Spark 批处理程序来对链路数据进行离线计算，存储一般使用 Hive。

3. 数据展示层

数据展示层的作用就是将处理后的链路信息以图形化的方式展示给用户。

实际项目中主要用到两种图形展示，一种是 调用链路图，一种是 调用拓扑 图。

调用链路图在实际项目中，主要是被用来做故障定位，比如某一次用户调用失败了，可以通过调用链路图查询这次用户调用经过了哪些环节，到底是哪一层的调用失败所导致。

调用拓扑图是一种全局视野图，在实际项目中，主要用作全局监控，用于发现系统中异常的 点，从而快速做出决策。比如，某一个服务突然出现异常，那么在调用链路拓扑图中可以看 出对这个服务的调用耗时都变高了，可以用红色的图样标出来，用作监控报警。

服务追踪是分布式系统中必不 可少的功能，它能够帮助我们查询一次用户请求在系统中的具体执行路径，以及每一条路径 的上下游的详细情况，对于追查问题十分有用。

服务治理

服务监控能够发现问题，服务追踪能够定位问题所在，而解决问题就得靠服务治理了。 服务治理就是通过一系列的手段来保证在各种意外情况下，服务调用仍然能够正常进行。

• 单机故障。通常遇到单机故障，都是靠运维发现并重启服务或者从线上摘除故障节点。然而集群的规模越大，越是容易遇到单机故障，在机器规模超过一百台以上时，靠传统的人肉运维显然难以应对。而服务治理可以通过一定的策略，自动摘除故障节点，不需要人为干预，就能保证单机故障不会影响业务。
• 单 IDC 故障。你应该经常听说某某 App，因为施工挖断光缆导致大批量用户无法使用的严重故障。而服务治理可以通过自动切换故障 IDC 的流量到其他正常 IDC，可以避免因为单 IDC 故障引起的大批量业务受影响。
• 依赖服务不可用。比如你的服务依赖依赖了另一个服务，当另一个服务出现问题时，会拖慢甚至拖垮你的服务。而服务治理可以通过熔断，在依赖服务异常的情况下，一段时期内停止发起调用而直接返回。这样一方面保证了服务消费者能够不被拖垮，另一方面也给服务提供者减少压力，使其能够尽快恢复。

上面是三种最常见的 需要引入服务治理的场景，当然还有一些其他服务治理的手段比如自动 扩缩容，可以用来解决服务的容量问题。

前面讲到单体应用改造为微服务架构后，服务调用由本地调用变成远程调用，服务消费者 A 需要通过注册中心去查询服务提供者 B 的地址，然后发起调用，这个看似简单的过程就 可能会遇到下面几种情况，比如：

• 注册中心宕机；
• 服务提供者 B 有节点宕机；
• 服务消费者 A 和注册中心之间的网络不通；
• 服务提供者 B 和注册中心之间的网络不通；
• 服务消费者 A 和服务提供者 B 之间的网络不通；
• 服务提供者 B 有些节点性能变慢；
• 服务提供者 B 短时间内出现问题。

可见，一次服务调用，服务提供者、注册中心、网络这三者都可能会有问题，此时服务消费 者应该如何处理才能确保调用成功呢？这就是服务治理要解决的问题。

接下来我们一起来看看常用的服务治理手段。

节点管理

根据我的经验，服务调用失败一般是由两类原因引起的，一类是服务提供者自身出现问题， 如服务器宕机、进程意外退出等；一类是网络问题，如服务提供者、注册中心、服务消费者 这三者任意两者之间的网络出现问题。 无论是服务提供者自身出现问题还是网络发生问题，都有两种节点管理手段。

1. 注册中心主动摘除机制

这种机制要求服务提供者定时的主动向注册中心汇报心跳，注册中心根据服务提供者节点最 近一次汇报心跳的时间与上一次汇报心跳时间做比较，如果超出一定时间，就认为服务提供 者出现问题，继而把节点从服务列表中摘除，并把最近的可用服务节点列表推送给服务消费 者。

2. 服务消费者摘除机制

虽然注册中心主动摘除机制可以解决服务提供者节点异常的问题，但如果是因为注册中心与 服务提供者之间的网络出现异常，最坏的情况是注册中心会把服务节点全部摘除，导致服务 消费者没有可用的服务节点调用，但其实这时候服务提供者本身是正常的。所以，将存活探 测机制用在服务消费者这一端更合理，如果服务消费者调用服务提供者节点失败，就将这个 节点从内存中保存的可用服务提供者节点列表中移除。

负载均衡

一般情况下，服务提供者节点不是唯一的，多是以集群的方式存在，尤其是对于大规模的服 务调用来说，服务提供者节点数目可能有上百上千个。由于机器采购批次的不同，不同服务 节点本身的配置也可能存在很大差异，新采购的机器 CPU 和内存配置可能要高一些，同等 请求量情况下，性能要好于旧的机器。对于服务消费者而言，在从服务列表中选取可用节点 时，如果能让配置较高的新机器多承担一些流量的话，就能充分利用新机器的性能。这就需 要对负载均衡算法做一些调整。

常用的负载均衡算法主要包括以下几种。

1. 随机算法

顾名思义就是从可用的服务节点中随机选取一个节点。一般情况下，随机算法是均匀的，也 就是说后端服务节点无论配置好坏，最终得到的调用量都差不多。

2. 轮询算法

就是按照固定的权重，对可用服务节点进行轮询。如果所有服务节点的权重都是相同的，则 每个节点的调用量也是差不多的。但可以给某些硬件配置较好的节点的权重调大些，这样的 话就会得到更大的调用量，从而充分发挥其性能优势，提高整体调用的平均性能。

3. 最少活跃调用算法

这种算法是在服务消费者这一端的内存里动态维护着同每一个服务节点之间的连接数，当调 用某个服务节点时，就给与这个服务节点之间的连接数加 1，调用返回后，就给连接数减 1。然后每次在选择服务节点时，根据内存里维护的连接数倒序排列，选择连接数最小的节 点发起调用，也就是选择了调用量最小的服务节点，性能理论上也是最优的。

问：如果请求都打到性能不好的机器了？不会压死性能不好的机器吗

作者回复: 正常情况下，性能好的机器连接释放得快，所以活跃连接数少；而性能不好的机器因为处理慢，所以活跃连接数要比性能好的机器要多，所以按照最少活跃负载均衡算法的话，请求会更少。

4. 一致性 Hash 算法

指相同参数的请求总是发到同一服务节点。当某一个服务节点出现故障时，原本发往该节点 的请求，基于虚拟节点机制，平摊到其他节点上，不会引起剧烈变动。

此外还有 最小响应时间算法， 源地址hash算法等。这几种算法的实现难度也是逐步提升的，所以选择哪种节点选取的负载均衡算法要根据实际场景而定。如果后端服务节点的配置没有差异，同等调用量下性能也没有差异的话，选择随机或者轮询算法比较合适；如果后端服务节点存在比较明显的配置和性能差异，选择最少活跃调用算法比较合适。

服务路由

对于服务消费者而言，在内存中的可用服务节点列表中选择哪个节点不仅由负载均衡算法决 定，还由路由规则确定。

所谓的路由规则，就是通过一定的规则如条件表达式或者正则表达式来限定服务节点的选择 范围。

为什么要制定路由规则呢？主要有两个原因。

1. 业务存在灰度发布的需求

比如，服务提供者做了功能变更，但希望先只让部分人群使用，然后根据这部分人群的使用 反馈，再来决定是否做全量发布。这个时候，就可以通过类似按尾号进行灰度的规则限定只 有一定比例的人群才会访问新发布的服务节点。

2. 多机房就近访问的需求

据我所知，大部分业务规模中等及以上的互联网公司，为了业务的高可用性，都会将自己的 业务部署在不止一个 IDC 中。这个时候就存在一个问题，不同 IDC 之间的访问由于要跨 IDC，通过专线访问，尤其是 IDC 相距比较远时延迟就会比较大，比如北京和广州的专线 延迟一般在 30ms 左右，这对于某些延时敏感性的业务是不可接受的，所以就要一次服务 调用尽量选择同一个 IDC 内部的节点，从而减少网络耗时开销，提高性能。这时一般可以 通过 IP 段规则来控制访问，在选择服务节点时，优先选择同一 IP 段的节点。

那么路由规则该如何配置呢？一般有 两种配置方式。

1. 静态配置

就是在服务消费者本地存放服务调用的路由规则，在服务调用期间，路由规则不会发生改 变，要想改变就需要修改服务消费者本地配置，上线后才能生效。

2. 动态配置

这种方式下，路由规则是存在注册中心的，服务消费者定期去请求注册中心来保持同步，要 想改变服务消费者的路由配置，可以通过修改注册中心的配置，服务消费者在下一个同步周 期之后，就会请求注册中心来更新配置，从而实现动态更新。

服务容错

服务调用并不总是一定成功的，前面讲过，可能因为服务提供者节点自身宕机、进程异常 退出或者服务消费者与提供者之间的网络出现故障等原因。对于服务调用失败的情况，需要 有手段自动恢复，来保证调用成功。

常用的手段主要有以下几种。

• FailOver：失败自动切换。就是服务消费者发现调用失败或者超时后，自动从可用的服务节点列表总选择下一个节点重新发起调用，也可以设置重试的次数。这种策略要求服务调用的操作必须是幂等的，也就是说无论调用多少次，只要是同一个调用，返回的结果都是相同的，一般适合服务调用是读请求的场景
• FailBack：失败通知。就是服务消费者调用失败或者超时后，不再重试，而是根据失败的详细信息，来决定后续的执行策略。比如对于非幂等的调用场景，如果调用失败后，不能简单地重试，而是应该查询服务端的状态，看调用到底是否实际生效，如果已经生效了就不能再重试了；如果没有生效可以再发起一次调用。
• FailCache：失败缓存。就是服务消费者调用失败或者超时后，不立即发起重试，而是隔一段时间后再次尝试发起调用。比如后端服务可能一段时间内都有问题，如果立即发起重试，可能会加剧问题，反而不利于后端服务的恢复。如果隔一段时间待后端节点恢复后，再次发起调用效果会更好。
• FailFast：快速失败。就是服务消费者调用一次失败后，不再重试。实际在业务执行时，一般非核心业务的调用，会采用快速失败策略，调用失败后一般就记录下失败日志就返回了。

从对服务容错不同策略的描述中，你可以看出它们的使用场景是不同的，一般情况下对于 幂等的调用，可以选择 FailOver 或者 FailCache，非幂等的调用可以选择 FailBack 或者 FailFast。

总结

上面的服务治理的手段是最常用的手段，它们从不同角度来确保服务调用的成功率。 节 点管理是从服务节点健康状态角度来考虑， 负载均衡和服务路由是从服务节点访问优先级角度来考虑，而 服务容错是从调用的健康状态角度来考虑，可谓是殊途同归。

架构总结

这几个基本组件共同组成了微服务架构，在生产环境下缺一不可，所以在引入微服务架构之 前，你的团队必须掌握这些基本组件的原理并具备相应的开发能力。实现方式上，可以引入 开源方案；如果有充足的资深技术人员，也可以选择自行研发微服务架构的每个组件。但对 于大部分中小团队来说，采用开源实现方案是一个更明智的选择，一方面你可以节省 相关技术人员的投入从而更专注于业务，另一方面也可以少走弯路少踩坑。不管你是采用开 源方案还是自行研发，都必须吃透每个组件的工作原理并能在此基础上进行二次开发。