微服务 分布式配置中心Apollo

1. 配置中心概述

1.1 配置中心简介

配置就是应用程序在启动和运行的时候往往需要读取一些配置信息,配置基本上伴随着应用程序的整个生命周期,比如:数据库连接参数、启动参数等。常见的配置properties,yml,xml等。

先说为什么需要配置中心,传统的配置有什么问题?
没有配置也可以在代码写死,为什么需要配置文件,其实这个问题就是配置文件的优点了,比如,统一管理配置信息,灵活调整,方便扩展。
分布式微服务的出现,导致不同模块领域划分为独立应用,每个独立应用为了保持高可用搭建为集群部署,所以一个产品线对应几十个应用,每个应用对应上百台机器,按照传统方式配置文件,那每次修改配置都要修改上百台应用的配置,可维护性,扩展性极低。分布式配置中心是独立于每一个应用服务的单独组件,统一对外提供配置服务,便于维护扩展管理。

总结一句话:配置中心就是一种统一管理各种应用配置的基础服务组件。

1.2 配置中心特点

1.配置是独立于程序的只读变量
配置首先是独立于程序的,同一份程序在不同的配置下会有不同的行为。其次,配置对于程序是只读的,程序通过读取配置来改变自己的行为,但是程序不应该去改变配置。

2.配置伴随应用的整个生命周期
配置贯穿于应用的整个生命周期,应用在启动时通过读取配置来初始化,在运行时根据配置调整行为。比如:启动时需要读取服务的端口号、系统在运行过程中需要读取定时策略执行定时任务等。

3.配置可以有多种加载方式
常见的有程序内部硬编码,配置文件,环境变量,启动参数,基于数据库等。

4 配置需要治理
权限控制:由于配置能改变程序的行为,不正确的配置甚至能引起灾难,所以对配置的修改必须有比较完善的权限控制。不同环境、集群配置管理:同一份程序在不同的环境(开发,测试,生产)、不同的集群(如不同的数据中心)经常需要有不同的配置,所以需要有完善的环境、集群配置管理。

1.3 配置中心对比

在这里插入图片描述总的来看,Apollo和Nacos相对于Spring Cloud Config的生态支持更广,在配置管理流程上做的更好。Apollo相对于Nacos在配置管理做的更加全面,Nacos则使用起来相对比较简洁,在对性能要求比较高的大规模场景更适合。但对于一个开源项目的选型,项目上的人力投入(迭代进度、文档的完整性)、社区的活跃度(issue的数量和解决速度、Contributor数量、社群的交流频次等),这些因素也比较关键,考虑到Nacos开源时间不长和社区活跃度,所以从目前来看Apollo应该是最合适的配置中心选型。

2. Apollo概述

2.1 Apollo简介

Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。

服务端基于Spring Boot和Spring Cloud开发,打包后可以直接运行,不需要额外安装Tomcat等应用容器。

Java客户端不依赖任何框架,能够运行于所有Java运行时环境,同时对Spring/Spring Boot环境也有较好的支持。

.Net客户端不依赖任何框架,能够运行于所有.Net运行时环境。

Apollo GitHub地址: https://github.com/ctripcorp/apollo
Apollo gitee地址(中文): https://gitee.com/angelinfo/apollo

2.2 Apollo特点

1.统一管理不同环境、不同集群的配置
Apollo提供了一个统一界面集中式管理不同环境(environment)、不同集群(cluster)、不同命名空间(namespace)的配置。
同一份代码部署在不同的集群,可以有不同的配置,比如zk的地址等
通过命名空间(namespace)可以很方便的支持多个不同应用共享同一份配置,同时还允许应用对共享的配置进行覆盖

2.配置修改实时生效(热发布)
用户在Apollo修改完配置并发布后,客户端能实时(1秒)接收到最新的配置,并通知到应用程序。

3.版本发布管理
所有的配置发布都有版本概念,从而可以方便的支持配置的回滚。

4.灰度发布
支持配置的灰度发布,比如点了发布后,只对部分应用实例生效,等观察一段时间没问题后再推给所有应用实例。

5.权限管理、发布审核、操作审计
应用和配置的管理都有完善的权限管理机制,对配置的管理还分为了编辑和发布两个环节,从而减少人为的错误。
所有的操作都有审计日志,可以方便的追踪问题。

6.客户端配置信息监控
可以方便的看到配置在被哪些实例使用

7.提供Java和.Net原生客户端
提供了Java和.Net的原生客户端,方便应用集成
支持Spring Placeholder, Annotation和Spring Boot的ConfigurationProperties,方便应用使用(需要Spring 3.1.1+)
同时提供了Http接口,非Java和.Net应用也可以方便的使用

8.提供开放平台API
Apollo自身提供了比较完善的统一配置管理界面,支持多环境、多数据中心配置管理、权限、流程治理等特性。
不过Apollo出于通用性考虑,对配置的修改不会做过多限制,只要符合基本的格式就能够保存。
在我们的调研中发现,对于有些使用方,它们的配置可能会有比较复杂的格式,如xml, json,需要对格式做校验。
还有一些使用方如DAL,不仅有特定的格式,而且对输入的值也需要进行校验后方可保存,如检查数据库、用户名和密码是否匹配。
对于这类应用,Apollo支持应用方通过开放接口在Apollo进行配置的修改和发布,并且具备完善的授权和权限控制

9.部署简单
配置中心作为基础服务,可用性要求非常高,这就要求Apollo对外部依赖尽可能地少。
目前唯一的外部依赖是MySQL,所以部署非常简单,只要安装好Java和MySQL就可以让Apollo跑起来。
Apollo还提供了打包脚本,一键就可以生成所有需要的安装包,并且支持自定义运行时参数。

2.3 Apollo业务流程

在这里插入图片描述1.Apollo配置中心创建应用,配置参数,发布。
2.应用程序通过Apollo客户端从配置中心拉取 配置信息。

用户通过Apollo配置中心修改或发布配置后,会有两种机制来保证应用程序来获取最新配置:一种是Apollo配置中心会向客户端推送最新的配置;另外一种是Apollo客户端会定时从Apollo配置中心拉取最新的配置,通过以上两种机制共同来保证应用程序能及时获取到配置。

4. Apollo安装运行

4.1 Apollo配置环境

Apollo服务端:1.8+
Apollo客户端:1.7+
由于Quick Start会在本地同时启动服务端和客户端,所以需要在本地安装Java 1.8+。

在配置好后,可以通过如下命令检查:
java -version

样例输出:
java version "1.8.0_74"
Java(TM) SE Runtime Environment (build 1.8.0_74-b02)
Java HotSpot(TM) 64-Bit Server VM (build 25.74-b02, mixed mode)
Windows用户请确保JAVA_HOME环境变量已经设置。


mysql版本要求:5.6.5+
Apollo的表结构对timestamp使用了多个default声明,所以需要5.6.5以上版本。
连接上MySQL后,可以通过如下命令检查:
SHOW VARIABLES WHERE Variable_name = 'version';

Variable_name 	Value
version 	    5.7.11

4.2 Apollo下载安装

1.从Github下载
checkout或下载apollo-build-scripts项目,由于Quick Start项目比较大,所以放在了另外的repository,请注意项目地址:https://github.com/nobodyiam/apollo-build-scripts

2.从百度网盘下载
通过网盘链接下载https://pan.baidu.com/share/init?surl=Ieelw6y3adECgktO0ea0Gg,提取码: 9wwe。

4.3 Apollo安装步骤

1.本地解压

下载到本地后,在本地解压apollo-quick-start.zip。
既可以直接使用,也可以修改后重新打包,通过maven打成可执行jar包。
Quick Start只针对本地测试使用,所以一般用户不需要自己下载源码打包,只需要下载已经打好的包即可。不过也有部分用户希望在修改代码后重新打包,那么可以参考如下步骤:
1. 修改apollo-configservice, apollo-adminservice和apollo-portal的pom.xml,注释掉spring-boot-maven-plugin和maven-assembly-plugin
2. 在根目录下执行mvn clean package -pl apollo-assembly -am -DskipTests=true
3. 复制apollo-assembly/target下的jar包,rename为apollo-all-in-one.jar

2.创建数据库

Apollo服务端共需要两个数据库:ApolloPortalDB和ApolloConfigDB,我们把数据库、表的创建和样例数据都分别准备了sql文件,只需要导入数据库即可。

注意:
1. 集群环境下ApolloPortalDB只需要在生产环境部署一个即可,而ApolloConfigDB需要在每个环境部署一套。
2. 如果你本地已经创建过Apollo数据库,请注意备份数据。我们准备的sql文件会清空Apollo相关的表。

3.执行sql文件

解压后找到对应的sql文件:
apolloconfigdb.sql
apolloportaldb.sql

下面以MySQL原生客户端为例:
source /your_local_path/sql/apolloconfigdb.sql
source /your_local_path/sql/apolloportaldb.sql

4.配置数据库连接信息

Apollo服务端需要知道如何连接到你前面创建的数据库,所以需要编辑demo.sh,修改ApolloPortalDB和ApolloConfigDB相关的数据库连接串信息。

注意:填入的用户需要具备对ApolloPortalDB和ApolloConfigDB数据的读写权限。
--------------------------------------------------------------------
#apollo config db info
apollo_config_db_url=jdbc:mysql://localhost:3306/ApolloConfigDB?characterEncoding=utf8
apollo_config_db_username=用户名
apollo_config_db_password=密码(如果没有密码,留空即可)

# apollo portal db info
apollo_portal_db_url=jdbc:mysql://localhost:3306/ApolloPortalDB?characterEncoding=utf8
apollo_portal_db_username=用户名
apollo_portal_db_password=密码(如果没有密码,留空即可)
--------------------------------------------------------------------
注意:不要修改demo.sh的其它部分

5.启动Apollo配置中心

确保端口未被占用,Quick Start脚本会在本地启动3个服务,分别使用8070, 8080, 8090端口,请确保这3个端口当前没有被使用。例如,在Linux/Mac下,可以通过如下命令检查:
lsof -i:8080

6.执行启动脚本

linux环境:./demo.sh start
Windows环境:demo.sh start

当看到如下输出后,就说明启动成功了!
==== starting service ====
Service logging file is ./service/apollo-service.log
Started [10768]
Waiting for config service startup.......
Config service started. You may visit http://localhost:8080 for service status now!
Waiting for admin service startup....
Admin service started
==== starting portal ====
Portal logging file is ./portal/apollo-portal.log
Started [10846]
Waiting for portal startup......
Portal started. You can visit http://localhost:8070 now!

7.异常排查

如果启动遇到了异常,可以分别查看service和portal目录下的log文件排查问题。

注:在启动apollo-configservice的过程中会在日志中输出eureka注册失败的信息,如com.sun.jersey.api.client.ClientHandlerException: java.net.ConnectException: Connection refused。需要注意的是,这个是预期的情况,因为apollo-configservice需要向Meta Server(它自己)注册服务,但是因为在启动过程中,自己还没起来,所以会报这个错。后面会进行重试的动作,所以等自己服务起来后就会注册正常了。

8.登录验证
web地址:http://localhost:8070

Quick Start集成了Spring Security简单认证,更多信息可以参考Portal 实现用户登录功能
登录, 输入用户名apollo,密码admin后登录
首页,点击SampleApp进入配置界面,可以看到当前有一个配置timeout=100 配置界面
如果提示系统出错,请重试或联系系统负责人,请稍后几秒钟重试一下,因为通过Eureka注册的服务有一个刷新的延时。

9.发布配置

  1. 打开apollo :新建项目apollo-quickstart
    在这里插入图片描述
  2. 新建配置项sms.enable。
    在这里插入图片描述
  3. 发布配置项。
    在这里插入图片描述
两种方式:
一种是cmd窗口打开Apollo client客户端。
一种是java代码引入apollo-client获取配置信息。

具体下载安装教程详见官网:https://github.com/ctripcorp/apollo/wiki/Quick-Start

5.Apollo案例实现

5.1 准备工作

  1. 环境要求
Java: 1.7+
Guava: 15.0+
Apollo客户端默认会引用Guava 19,如果你的项目引用了其它版本,请确保版本号大于等于15.0

注:对于Apollo客户端,如果有需要的话,可以做少量代码修改来降级到Java 1.6,详细信息可以参考Issue 483.
  1. 必选设置
Apollo客户端依赖于AppId,Apollo Meta Server等环境信息来工作,所以请确保阅读下面的说明并且做正确的配置:
VM options:
-Dapp.id=apollo-quickstart -Dapollo.meta=http://localhost:8080
或者
-Dapp.id=SampleApp -Dapollo.meta=http://localhost:8080

5.2 Maven依赖

<dependency>
	<groupId>com.ctrip.framework.apollo</groupId>
	<artifactId>apollo-client</artifactId>
	<version>1.1.0</version>
</dependency>

5.3 客户端用法

集成方式有很多,这里演示只做java api,简单。具体参照官方文档。

package com.example.apollo.application;

import com.ctrip.framework.apollo.Config;
import com.ctrip.framework.apollo.ConfigService;

/**
 * @author zrj
 * @date 2021/6/7
 * @since V1.0
 **/
public class GetApolloApplication {

    public static void main(String[] args) {

        /**
         * config instance is singleton for each namespace and is never null
         *  VM options:
         *  -Dapp.id=apollo-quickstart -Dapollo.meta=http://localhost:8080
         *  -Dapp.id=SampleApp -Dapollo.meta=http://localhost:8080
         *
         *  配置下边启动报错乱码
         *  ‐Dapp.id=apollo‐quickstart ‐Denv=DEV ‐Ddev_meta=http://localhost:8080
         */
        Config config = ConfigService.getAppConfig();
        String someKey = "sms.enable";
        //String someKey = "timeout";
        String value = config.getProperty( someKey, null );

        System.out.println( "sms.enable = " + value );
    }
}

在这里插入图片描述Java客户端使用指南详见官网:https://github.com/ctripcorp/apollo/wiki/Java%E5%AE%A2%E6%88%B7%E7%AB%AF%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97#31-api%E4%BD%BF%E7%94%A8%E6%96%B9%E5%BC%8F

5.4 热部署

/**
 * @author zrj
 * @date 2021/6/7
 * @since V1.0
 **/
public class GetApolloApplication {

    public static void main(String[] args) throws InterruptedException {
        /**
         * 调整对应key的值,自动获取最新可以值
         * 
         * config instance is singleton for each namespace and is never null
         *  VM options:
         *  -Dapp.id=apollo-quickstart -Dapollo.meta=http://localhost:8080
         *  -Dapp.id=SampleApp -Dapollo.meta=http://localhost:8080
         *
         *  配置下边启动报错乱码
         *  ‐Dapp.id=apollo‐quickstart ‐Denv=DEV ‐Ddev_meta=http://localhost:8080
         */
        Config config = ConfigService.getAppConfig();
        String someKey = "sms.enable";
        while (true) {
            String value = config.getProperty( someKey, null );
            System.out.printf( "now: %s, sms.enable: %s%n", LocalDateTime.now().toString(), value );
            Thread.sleep( 3000L );
        }
    }
}

6. Apollo原理分析

6.1 Apollo架构设计

官网抠个图,设计架构思想官网介绍的很清楚,不再赘述。
https://mp.weixin.qq.com/s/-hUaQPzfsl9Lm3IqQW3VDQ
在这里插入图片描述

6.2 Apollo核心概念

  1. application (应用)
    这个很好理解,就是实际使用配置的应用,Apollo客户端在运行时需要知道当前应用是谁,从而可以去获取对应的配置
    关键字:appId

  2. environment (环境)
    配置对应的环境,Apollo客户端在运行时需要知道当前应用处于哪个环境,从而可以去获取应用的配置.
    关键字:env

  3. cluster (集群)
    一个应用下不同实例的分组,比如典型的可以按照数据中心分,把上海机房的应用实例分为一个集群,把北京机房的应用实例分为另一个集群。
    关键字:cluster

  4. namespace (命名空间)
    一个应用下不同配置的分组,可以简单地把namespace类比为文件,不同类型的配置存放在不同的文件中,如数据库配置文件,RPC配置文件,应用自身的配置文件等
    关键字:namespaces

很明显,包含关系,应用>环境>集群>命名空间
在这里插入图片描述

6.3 Apollo项目管理

基础设置

  1. 部门管理
    apollo 默认部门有两个。要增加自己的部门,可在系统参数中修改:
    进入系统参数设置
    在这里插入图片描述
    输入key查询已存在的部门设置:organizations
    修改value值来添加新部门,下面添加一个微服务部门:
    在这里插入图片描述2. 添加用户
    apollo默认提供一个超级管理员: apollo,可以自行添加用户
    在这里插入图片描述
    创建项目
  2. 打开apollo-portal主页:http://localhost:8070/
  3. 点击“创建项目”:account-service
  4. 输入项目信息
    在这里插入图片描述
部门:选择应用所在的部门

应用AppId:用来标识应用身份的唯一id,格式为string,需要和项目配置文件applications.properties中配置的app.id对应

应用名称:应用名,仅用于界面展示

应用负责人:选择的人默认会成为该项目的管理员,具备项目权限管理、集群创建、Namespace创建等权限

6.4 配置管理

6.5 多项目配置

6.6 集群管理

6.7 配置发布原理

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值