文章目录
Apollo
随手记:在学习 Apollo 过程中,本人整理的一些相对有用的资料。环境准备
Jar包准备
- apollo-adminservice-1.9.1-github.zip
- apollo-configservice-1.9.1-github.zip
- apollo-portal-1.9.1-github.zip
数据库文件
备选:如果下载缓慢话,可以选择以下链接:
- apollo-adminservice-1.9.1-github.zip
- apollo-configservice-1.9.1-github.zip
- apollo-portal-1.9.1-github.zip
- apolloconfigdb.sql
- apolloportaldb.sql
入门学习
背景
- 为什么要用Apollo?
- Sentinel控制台配置的规则直接推送到Sentinel客户端,也就是我们的应用。然后保存在内存中,服务重启则丢失。
- 解决方案
- 因此要引入第三方依赖,控制台将配置规则推送到远程配置中心,例如Nacos、Apollo、zookeeper。
- 这种方式有更好的实时性和一致性保证。生产环境下一般采用 push 模式的数据源。
- Sentinel客户端监听Apollo,获取配置变更的推送消息,完成本地配置更新。
Apollo简单介绍
Apollo从设计之初就立志于成为一个有治理能力的配置发布平台,目前提供了以下的特性:
- 统一管理不同环境、不同集群的配置
- Apollo提供了一个统一界面集中式管理不同环境(environment)、不同集群(cluster)、不同命名空间(namespace)的配置。
- 同一份代码部署在不同的集群,可以有不同的配置,比如zookeeper的地址等
- 通过命名空间(namespace)可以很方便地支持多个不同应用共享同一份配置,同时还允许应用对共享的配置进行覆盖
- 配置修改实时生效(热发布)
- 用户在Apollo修改完配置并发布后,客户端能实时(1秒)接收到最新的配置,并通知到应用程序
- 版本发布管理
- 所有的配置发布都有版本概念,从而可以方便地支持配置的回滚
- 灰度发布
- 支持配置的灰度发布,比如点了发布后,只对部分应用实例生效,等观察一段时间没问题后再推给所有应用实例
- 权限管理、发布审核、操作审计
- 应用和配置的管理都有完善的权限管理机制,对配置的管理还分为了编辑和发布两个环节,从而减少人为的错误。
- 所有的操作都有审计日志,可以方便地追踪问题
- 客户端配置信息监控
- 可以在界面上方便地看到配置在被哪些实例使用
- 提供Java和.Net原生客户端
- 提供了Java和.Net的原生客户端,方便应用集成
- 支持Spring Placeholder, Annotation和Spring Boot的ConfigurationProperties,方便应用使用(需要Spring 3.1.1+)
- 同时提供了Http接口,非Java和.Net应用也可以方便地使用
- 提供开放平台API
- Apollo自身提供了比较完善的统一配置管理界面,支持多环境、多数据中心配置管理、权限、流程治理等特性。不过Apollo出于通用性考虑,不会对配置的修改做过多限制,只要符合基本的格式就能保存,不会针对不同的配置值进行针对性的校验,如数据库用户名、密码,Redis服务地址等
- 对于这类应用配置,Apollo支持应用方通过开放平台API在Apollo进行配置的修改和发布,并且具备完善的授权和权限控制
- 部署简单
- 配置中心作为基础服务,可用性要求非常高,这就要求Apollo对外部依赖尽可能地少
- 目前唯一的外部依赖是MySQL,所以部署非常简单,只要安装好Java和MySQL就可以让Apollo跑起来
- Apollo还提供了打包脚本,一键就可以生成所有需要的安装包,并且支持自定义运行时参数
Apollo的七个模块
四个核心模块及其主要功能
-
ConfigService
- 提供配置获取接口 - 提供配置推送接口 - 服务于Apollo客户端
-
AdminService
- 提供配置管理接口 - 提供配置修改发布接口 - 服务于管理界面Portal
-
Client
- 为应用获取配置,支持实时更新 - 通过MetaServer获取ConfigService的服务列表 - 使用客户端软负载SLB方式调用ConfigService
-
Portal
- 配置管理界面 - 通过MetaServer获取AdminService的服务列表 - 使用客户端软负载SLB方式调用AdminServic
三个辅助服务发现模块
-
Eureka
- 用于服务发现和注册 - Config/AdminService注册实例并定期报心跳 - 和ConfigService住在一起部署
-
MetaServer
- Portal通过域名访问MetaServer获取AdminService的地址列表 - Client通过域名访问MetaServer获取ConfigService的地址列表 - 相当于一个Eureka Proxy - 逻辑角色,和ConfigService住在一起部署
-
NginxLB
- 和域名系统配合,协助Portal访问MetaServer获取AdminService地址列表 - 和域名系统配合,协助Client访问MetaServer获取ConfigService地址列表 - 和域名系统配合,协助用户访问Portal进行配置管理
分步执行流程概览
- Apollo启动后,Config/Admin Service会自动注册到Eureka服务注册中心,并定期发送保活心跳。
- Apollo Client和Portal管理端通过配置的Meta Server的域名地址经由Software Load Balancer(软件负载均衡器)进行负载均衡后分配到某一个Meta Server
- Meta Server从Eureka获取Config Service和Admin Service的服务信息,相当于是一个Eureka Client
- Meta Server获取Config Service和Admin Service(IP+Port)失败后会进行重试
- 获取到正确的Config Service和Admin Service的服务信息后,Apollo Client通过Config Service为应用提供配置获取、实时更新等功能;Apollo Portal管理端通过Admin Service提供配置新增、修改、发布等功能
详细分步执行流程
- Config Service提供配置的读取、推送等功能,服务对象是Apollo客户端
- Admin Service提供配置的修改、发布等功能,服务对象是Apollo Portal(管理界面)
- Config Service和Admin Service都是多实例、无状态部署,所以需要将自己注册到Eureka中并保持心跳
- 在Eureka之上我们架了一层Meta Server用于封装Eureka的服务发现接口
- Client通过域名访问Meta Server获取Config Service服务列表(IP+Port),而后直接通过IP+Port访问服务,同时在Client侧会做load balance、错误重试
- Portal通过域名访问Meta Server获取Admin Service服务列表(IP+Port),而后直接通过IP+Port访问服务,同时在Portal侧会做load balance、错误重试
Apollo的动态加载模块
客户端设计
上图简要描述了Apollo客户端的实现原理:
-
客户端和服务端保持了一个长连接,从而能第一时间获得配置更新的推送。
-
客户端还会定时从Apollo配置中心服务端拉取应用的最新配置。
1)这是一个fallback机制,为了防止推送机制失效导致配置不更新
2)客户端定时拉取会上报本地版本,所以一般情况下,对于定时拉取的操作,服务端都会返回304 - Not Modified
3)定时频率默认为每5分钟拉取一次,客户端也可以通过在运行时指定System Property: apollo.refreshInterval来覆盖,单位为分钟。
-
客户端从Apollo配置中心服务端获取到应用的最新配置后,会保存在内存中
-
客户端会把从服务端获取到的配置在本地文件系统缓存一份,在遇到服务不可用,或网络不通的时候,依然能从本地恢复配置
-
应用程序可以从Apollo客户端获取最新的配置、订阅配置更新通知
配置更新推送实现
前面提到了Apollo客户端和服务端保持了一个长连接,从而能第一时间获得配置更新的推送。
长连接实际上是通过Http Long Polling实现的,具体而言:
- 客户端发起一个Http请求到服务端
- 服务端会保持住这个连接30秒
- 如果在30秒内有客户端关心的配置变化,被保持住的客户端请求会立即返回,并告知客户端有配置变化的namespace信息,客户端会据此拉取对应namespace的最新配置
- 如果在30秒内没有客户端关心的配置变化,那么会返回Http状态码304给客户端
- 客户端在服务端请求返回后会自动重连
考虑到会有数万客户端向服务端发起长连,在服务端使用了async servlet(Spring DeferredResult)来服务HttpLong Polling请求。