disconf-注解式分布式配置

最新推荐文章于 2021-03-17 01:00:02 发布

chq88888

最新推荐文章于 2021-03-17 01:00:02 发布

阅读量270

点赞数

文章标签： java 大数据数据库

原文链接：https://my.oschina.net/u/2505908/blog/1542372

版权

1. 分布式配置管理平台Disconf

1.1. 摘要

为了更好的解决分布式环境下多台服务实例的配置统一管理问题，本文提出了一套完整的分布式配置管理解决方案（简称为disconf[4]，下同）。首先，实现了同构系统的配置发布统一化，提供了配置服务server，该服务可以对配置进行持久化管理并对外提供restful接口，在此基础上，基于zookeeper实现对配置更改的实时推送，并且，提供了稳定有效的容灾方案，以及用户体验良好的编程模型和WEB用户管理界面。其次，实现了异构系统的配置包管理，提出基于zookeeper的全局分布式一致性锁来实现主备统一部署、系统异常时的主备自主切换。通过在百度内部以及外部等多个产品线的实践结果表明，本解决方案是有效且稳定的。

1.2. 技术背景

在一个分布式环境中，同类型的服务往往会部署很多实例。这些实例使用了一些配置，为了更好地维护这些配置就产生了配置管理服务。通过这个服务可以轻松地管理成千上百个服务实例的配置问题。

王阿晶提出了基于zooKeeper的配置信息存储方案的设计与实现[1], 它将所有配置存储在zookeeper上，这会导致配置的管理不那么方便，而且他们没有相关的源码实现。淘宝的diamond[2]是淘宝内部使用的一个管理持久配置的系统，它具有完整的开源源码实现，它的特点是简单、可靠、易用，淘宝内部绝大多数系统的配置都采用diamond来进行统一管理。他将所有配置文件里的配置打散化进行存储，只支持KV结构，并且配置更新的推送是非实时的。百度内部的BJF配置中心服务[3]采用了类似淘宝diamond的实现，也是配置打散化、只支持KV和非实时推送。

同构系统是市场的主流，特别地，在业界大量使用部署虚拟化（如JPAAS系统，SAE，BAE）的情况下，同一个系统使用同一个部署包的情景会越来越多。但是，异构系统也有一定的存在意义，譬如，对于“拉模式”的多个下游实例，同一时间点只能只有一个下游实例在运行。在这种情景下，就存在多台实例机器有“主备机”模式的问题。目前国内并没有很明显的解决方案来统一解决此问题。

1.3. 功能特点与设计理念

disconf是一套完整的基于zookeeper的分布式配置统一解决方案。

它的功能特点是

支持配置（配置项+配置文件）的分布式化管理
- 配置发布统一化
- 配置发布、更新统一化（云端存储、发布）:配置存储在云端系统，用户统一在平台上进行发布、更新配置。
- 配置更新自动化：用户在平台更新配置，使用该配置的系统会自动发现该情况，并应用新配置。特殊地，如果用户为此配置定义了回调函数类，则此函数类会被自动调用。
配置异构系统管理
- 异构包部署统一化：这里的异构系统是指一个系统部署多个实例时，由于配置不同，从而需要多个部署包（jar或war）的情况（下同）。使用Disconf后，异构系统的部署只需要一个部署包，不同实例的配置会自动分配。特别地，在业界大量使用部署虚拟化（如JPAAS系统，SAE，BAE）的情况下，同一个系统使用同一个部署包的情景会越来越多，Disconf可以很自然地与他天然契合。异构主备自动切换：如果一个异构系统存在主备机，主机发生挂机时，备机可以自动获取主机配置从而变成主机。
- 异构主备机Context共享工具：异构系统下，主备机切换时可能需要共享Context。可以使用Context共享工具来共享主备的Context。
注解式编程，极简的使用方式：我们追求的是极简的、用户编程体验良好的编程方式。通过简单的标注+极简单的代码撰写，即可完成复杂的配置分布式化。
需要Spring编程环境

它的设计理念是：

简单，用户体验良好：
- 摒弃了打散化配置的管理方式[2,3]，仍旧采用基于配置文件的编程方式，这和程序员以前的编程习惯（配置都是放在配置文件里）一致。特别的，为了支持较为小众的打散化配置功能，还特别支持了配置项。
- 采用了基于XML无代码侵入编程方式：只需要几行XML配置，即可实现配置文件发布更新统一化、自动化。
- 采用了基于注解式的弱代码侵入编程方式：通过编程规范，一个配置文件一个配置类，代码结构简单易懂。XML几乎没有任何更改，与原springXML配置一样。真正编程时，几乎感觉不到配置已经分布式化
可以托管任何类型的配置文件，这与[2,3]只能支持KV结构的功能有较大的改进。
配置更新实时推送
提供界面良好Web管理功能，可以非常方便的查看配置被哪些实例使用了。

1.4. 详细设计

架构设计

disconf服务集群模式：

disconf的模块架构图：

每个模块的简单介绍如下：

Disconf-core
- 分布式通知模块：支持配置更新的实时化通知
- 路径管理模块：统一管理内部配置路径URL
Disconf-client
- 配置仓库容器模块：统一管理用户实例中本地配置文件和配置项的内存数据存储
- 配置reload模块：监控本地配置文件的变动，并自动reload到指定bean
- 扫描模块：支持扫描所有disconf注解的类和域
- 下载模块：restful风格的下载配置文件和配置项
- watch模块：监控远程配置文件和配置项的变化
- 主备分配模块：主备竞争结束后，统一管理主备分配与主备监控控制
- 主备竞争模块：支持分布式环境下的主备竞争
Disconf-web
- 配置存储模块：管理所有配置的存储和读取
- 配置管理模块：支持配置的上传、下载、更新
- 通知模块：当配置更新后，实时通知使用这些配置的所有实例
- 配置自检监控模块：自动定时校验实例本地配置与中心配置是否一致
- 权限控制：web的简单权限控制
Disconf-tools
- context共享模块：提供多实例间context的共享。

流程设计

运行流程详细介绍：

与2.0版本的主要区别是支持了：主备分配功能/主备切换事件。

启动事件A：以下按顺序发生。
- A3：扫描静态注解类数据，并注入到配置仓库里。
- A4+A2：根据仓库里的配置文件、配置项，去 disconf-web 平台里下载配置数据。这里会有主备竞争
- A5：将下载得到的配置数据值注入到仓库里。
- A6：根据仓库里的配置文件、配置项，去ZK上监控结点。
- A7+A2：根据XML配置定义，到 disconf-web 平台里下载配置文件，放在仓库里，并监控ZK结点。这里会有主备竞争。
- A8：A1-A6均是处理静态类数据。A7是处理动态类数据，包括：实例化配置的回调函数类；将配置的值注入到配置实体里。
更新配置事件B：以下按顺序发生。
- B1：管理员在 Disconf-web 平台上更新配置。
- B2：Disconf-web 平台发送配置更新消息给ZK指定的结点。
- B3：ZK通知 Disconf-cient 模块。
- B4：与A4一样。
- B5：与A5一样。
- B6：基本与A4一样，唯一的区别是，这里还会将配置的新值注入到配置实体里。
主备机切换事件C：以下按顺序发生。
- C1：发生主机挂机事件。
- C2：ZK通知所有被影响到的备机。
- C4：与A2一样。
- C5：与A4一样。
- C6：与A5一样。
- C7：与A6一样。

模块实现

disconf-web提供了前后端分离的web架构，具体可见：

https://github.com/knightliao/disconf/tree/master/disconf-web

本部分会重点介绍disconf-client的实现方式。

注解式disconf实现

本实现会涉及到配置仓库容器模块、扫描模块、下载模块、watch模块，

使用AOP拦截的一个好处是可以比较轻松的实现配置控制，比如并发环境下的配置统一生效。关于这方面的讨论可以见这里。

特别地，本方式提供的编程模式非常简单，例如使用以下配置类的程序在使用它时，可以直接@Autowired进来进行调用，使用它时就和平常使用普通的JavaBean一样，但其实它已经分布式化了。配置更新时，配置类亦会自动更新。

@Service
@DisconfFile(filename = "redis.properties")
public class JedisConfig {

    // 代表连接地址
    private String host;

    // 代表连接port
    private int port;

    /**
     * 地址, 分布式文件配置
     *
     * @return
     */
    @DisconfFileItem(name = "redis.host", associateField = "host")
    public String getHost() {
        return host;
    }

    public void setHost(String host) {
        this.host = host;
    }

    /**
     * 端口, 分布式文件配置
     *
     * @return
     */
    @DisconfFileItem(name = "redis.port", associateField = "port")
    public int getPort() {
        return port;
    }

    public void setPort(int port) {
        this.port = port;
    }
}

基于XML配置disconf实现

本实现提供了无任何代码侵入方式的分布式配置。

ReloadablePropertiesFactoryBean继承了Spring Properties文件的PropertiesFactoryBean类，管理所有当配置更新时要进行reload的配置文件。对于被管理的每一个配置文件，都会通过配置仓库容器模块、扫描模块、下载模块、watch模块进行配置获取至配置仓库里。

ReloadingPropertyPlaceholderConfigurer继承了Spring Bean配置值控制类PropertyPlaceholderConfigurer。在第一次扫描spring bean 时，disconf会记录配置文件的配置与哪些bean有关联。

ReloadConfigurationMonitor是一个定时任务，定时check本地配置文件是否有更新。

当配置中心的配置被更新时，配置文件会被下载至实例本地，ReloadConfigurationMonitor即会监控到此行为，并且通知 ReloadingPropertyPlaceholderConfigurer 对相关的bean类进行值更新。

特别的，此种方式无法解决并发情况下配置统一生效的问题。

主备分配实现

在实现中，为每个配置提供主备选择的概念。用户实例在获取配置前需要先进行全局唯一性竞争才能得到配置值。在这里，我们采用基于zookeeper的全局唯一性锁来实现。

1.5. Comparisons

	淘宝Diamond[2]	Disconf	比较
数据持久性	存储在mysql上	存储在mysql上	都持久化到数据库里，都易于管理
推拉模型	拉模型，每隔15s拉一次全量数据	基于Zookeeper的推模型，实时推送	disconf基于分布式的Zookeeper来实时推送，不断是在稳定性、实效性、易用性上均优于diamond
配置读写	支持实例对配置读写。支持某台实例写配置数据，并广播到其它实例上	只支持实例对配置读。通过在disconf-web上更新配置到达到广播写到所有应用实例	从目前的应用场景来看，实例对配置的写需求不是那么明显。disconf支持的中心化广播方案可能会与人性思考更加相似。
容灾	多级容灾模式，配置数据会dump在本地，避免中心服务挂机时无法使用	多级容灾模式，优先读取本地配置文件。	双方均支持在中心服务挂机时配置实例仍然可以使用
配置数据模型	只支持KV结构的数据，非配置文件模式	支持传统的配置文件模式（配置文件），亦支持KV结构数据(配置项)	使用配置文件的编程方式可能与程序员的编程习惯更为相似，更易于接受和使用。
编程模型	需要将配置文件拆成多个配置项，没有明显的编程模型	在使用配置文件的基础上，提供了注解式和基于XML的两种编程模型	无
并发性	多条配置要同时生效时，无法解决并发同时生效的问题	基于注解式的配置，可以解决并发性问题	无

1.6. Reference

王阿晶，邹仕洪: 基于ZooKeeper的配置信息存储方案的设计与实现
淘宝diamod实现：http://code.taobao.org/p/diamond/src/, 2012
百度BJF配置中心, 2014
disconf github: https://github.com/knightliao/disconf, 2014
淘宝分布式配置管理服务Diamond
zooKeeper和Diamond有什么不同
diamond专题（一）– 简介和快速使用

具体使用如下：

2.搭建项目

--就是一个disconf-web

2.1安装依赖软件

安装Mysql（Ver 14.12 Distrib 5.0.45, for unknown-linux-gnu (x86_64) using EditLine wrapper）
安装Tomcat（apache-tomcat-7.0.50）
安装Nginx（nginx/1.5.3）
安装 zookeeeper （zookeeper-3.3.0）
安装 Redis （2.4.5）

2.2准备配置

将你的配置文件放到此地址目录下（以下地址可自行设定）：

home/work/dsp/disconf-rd/online-resources

配置文件包括：

- jdbc-mysql.properties (数据库配置)
- redis-config.properties (Redis配置)
- zoo.properties (Zookeeper配置)
- application.properties (应用配置）

注意，记得执行将application-demo.properties复制成application.properties：

cp application-demo.properties application.properties

设置War包将要被部署的地址（以下地址可自行设定）：

/home/work/dsp/disconf-rd/war

2.3构建

ONLINE_CONFIG_PATH=/home/work/dsp/disconf-rd/online-resources
WAR_ROOT_PATH=/home/work/dsp/disconf-rd/war
export ONLINE_CONFIG_PATH
export WAR_ROOT_PATH
cd disconf-web
sh deploy/deploy.sh

这样会在 /home/work/dsp/disconf-rd/war 生成以下结果：

-disconf-web.war  
-html  
-META-INF  
-WEB-INF

2.4上线前的初始化工作

初始化数据库：

可以参考 sql/readme.md 来进行数据库的初始化。

里面默认有6个用户

如果想自己设置初始化的用户名信息，可以参考代码来自己生成用户：

src/main/java/com/baidu/disconf/web/tools/UserCreateTools.java

2.5部署War

修改server.xml文件，在Host结点下设定Context：

<Context path="" docBase="/home/work/dsp/disconf-rd/war"></Context>

并设置端口为 8015

启动Tomcat，即可。

2.6部署前端

修改 nginx.conf

upstream disconf {
    server 127.0.0.1:8015;
}

server {

    listen   8081;
    server_name localhost;
    access_log /home/work/var/logs/disconf/access.log;
    error_log /home/work/var/logs/disconf/error.log;

    location / {
        root /home/work/dsp/disconf-rd/war/html;
        if ($query_string) {
            expires max;
        }
    }

    location ~ ^/(api|export) {
        proxy_pass_header Server;
        proxy_set_header Host $http_host;
        proxy_redirect off;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Scheme $scheme;
        proxy_pass http://disconf;
    }
}

特别指出在打包项目时候请检查python库版本3.*版本会报错，请用2.*打包

第二点，在打出来的war包修改诸如zookeeper的配置时，必须重新打包，单纯修改war目录下的文件是无效的

2.7使用

用户名密码 admin/admin

创建app，上传配置

1.添加disconf.properties配置文件

disconf.user_define_download_dir=./ 此处意思就是将zookeeper中的配置拉到本地的classpath下，若配置成其他目录，似乎会报错

Java代码

disconf.enable.remote.conf=true
disconf.conf_server_host=172.171.51.151:8082
disconf.version=1.0.0.0
disconf.app=17wifiServer
disconf.env=local
disconf.ignore=
disconf.conf_server_url_retry_times=1
disconf.conf_server_url_retry_sleep_seconds=1
disconf.user_define_download_dir=./
disconf.enable_local_download_dir_in_class_path=true

2.添加disconf.xml，并且指定给spring加载

配置如下

Java代码

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:aop="http://www.springframework.org/schema/aop"
xsi:schemaLocation="http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans-3.1.xsd
http://www.springframework.org/schema/aop
http://www.springframework.org/schema/aop/spring-aop-3.0.xsd">
<aop:aspectj-autoproxy proxy-target-class="true"/>
<bean id="disconfMgrBean" class="com.baidu.disconf.client.DisconfMgrBean"
destroy-method="destroy">
<property name="scanPackage" value="com.fnic.wifi.server"/>
</bean>
<bean id="disconfMgrBean2" class="com.baidu.disconf.client.DisconfMgrBeanSecond"
init-method="init" destroy-method="destroy">
</bean>
<bean id="configproperties_disconf"
class="com.baidu.disconf.client.addons.properties.ReloadablePropertiesFactoryBean">
<property name="locations">
<list>
<value>classpath:jdbc.properties</value>
<value>classpath:redis.properties</value>
</list>
</property>
</bean>
<bean id="propertyConfigurer"
class="com.baidu.disconf.client.addons.properties.ReloadingPropertyPlaceholderConfigurer">
<property name="ignoreResourceNotFound" value="true"/>
<property name="ignoreUnresolvablePlaceholders" value="true"/>
<property name="propertiesArray">
<list>
<ref bean="configproperties_disconf"/>
</list>
</property>
</bean>
</beans>

配置上半段是必须配置，下半段是将配置文件托管给spring，并且可以运用${}这样的形式配置在spring的xml中，可以参考jdbc数据源的配置

其中

Java代码

<value>classpath:jdbc.properties</value>
<value>classpath:redis.properties</value>
要和上面
disconf.user_define_download_dir=./ 对应起来

3.注释掉spring原本的加载配置类

Java代码

<!-- <bean id="config"
class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
<property name="locations">
<list>
<value>classpath:conf/jdbc.properties</value>
<value>classpath:conf/redis.properties</value>
</list>
</property>
</bean> -->

4.编写测试bean

Java代码

@Component
@DisconfFile(filename = "configure.properties")
public class ConfDIs {
private String resourceUrl;
@DisconfFileItem(name = "resource_server_url", associateField = "resourceUrl")
public String getResourceUrl() {
return resourceUrl;
}
public void setResourceUrl(String resourceUrl) {
this.resourceUrl = resourceUrl;
}
}

ok启动就可以运用disconf了，其性能还有待验证，不过其原理应该是从zk中拉配置到本地内存中，同自己手动加载本地的property文件。

正常的日志如下

Java代码

2016-04-27 17:57:27 [com.baidu.disconf.client.DisconfMgr]-[INFO] ******************************* DISCONF END FIRST SCAN *******************************
2016-04-27 17:57:28 [org.springframework.beans.GenericTypeAwarePropertyDescriptor]-[WARN] Invalid JavaBean property 'locations' being accessed! Ambiguous write methods found next to actually used [public void com.baidu.disconf.client.addons.properties.ReloadablePropertiesFactoryBean.setLocations(java.util.List)]: [public void org.springframework.core.io.support.PropertiesLoaderSupport.setLocations(org.springframework.core.io.Resource[])]
2016-04-27 17:57:28 [com.baidu.disconf.client.addons.properties.ReloadablePropertiesFactoryBean]-[INFO] Loading properties file from class path resource [jdbc.properties]
2016-04-27 17:57:28 [com.baidu.disconf.client.addons.properties.ReloadablePropertiesFactoryBean]-[INFO] Loading properties file from class path resource [redis.properties]
2016-04-27 17:57:28 [org.springframework.beans.factory.support.DefaultListableBeanFactory]-[INFO] Pre-instantiating singletons in org.springframework.beans.factory.support.DefaultListableBeanFactory@63b7e77: defining beans [wifiAspect,activityDataBuilder,apActiveManageController,adDataBuilder,apAdController,apResourceController,resourceDataBuilder,apUserController,busController,busOnlineController,clickStatistics,confDIs,couponController,apFeedBackController,apFindAroundController,indexController,splashDataBuilder,messageSendController,sendMailController,pluginController,appScoreController,versionController,wifiAuthController,startListener,busServiceImpl,activityServiceImpl,apAdServiceImpl,apFeedBackSeriveImpl,appScoreServiceImpl,apResourceServiceImpl,apUserServiceImpl,busOnlineServiceImpl,couponServiceImpl,DAServiceImpl,findAroundServiceImpl,groupServiceImpl,indexServiceImpl,messageSendServiceImpl,pluginServiceImpl,versionServiceImpl,wifiAuthServiceImpl,httpService,springHolder,org.springframework.context.annotation.internalConfigurationAnnotationProcessor,org.springframework.context.annotation.internalAutowiredAnnotationProcessor,org.springframework.context.annotation.internalRequiredAnnotationProcessor,org.springframework.context.annotation.internalCommonAnnotationProcessor,jedisPoolConfig,jedisConnFactory,stringRedisTemplate,objRedisTemplate,redisObj,redisString,redisTemplate,redisSubscribe,messageDelegateListener,serialization,messageListener,redisContainer,dataSource,org.springframework.aop.config.internalAutoProxyCreator,org.springframework.transaction.annotation.AnnotationTransactionAttributeSource#0,org.springframework.transaction.interceptor.TransactionInterceptor#0,org.springframework.transaction.config.internalTransactionAdvisor,sqlSessionFactory,org.mybatis.spring.mapper.MapperScannerConfigurer#0,transactionManager,disconfMgrBean,disconfMgrBean2,configproperties_disconf,propertyConfigurer,disconfAspectJ,org.springframework.context.annotation.ConfigurationClassPostProcessor.importAwareProcessor,activityDao,apAdDao,apFeedBackDao,appScoreDao,apResourceDao,apUserDao,busDao,busOnlineDao,couponDao,DADao,findAroundDao,groupDao,indexDao,messageSendDao,pluginDao,versionDao,wifiAuthDao]; root of factory hierarchy
2016-04-27 17:57:28 [com.fnic.wifi.server.aop.WifiAspect]-[INFO] 初始化Controller Aop
2016-04-27 17:57:30 [com.baidu.disconf.client.DisconfMgr]-[INFO] ******************************* DISCONF START SECOND SCAN *******************************
2016-04-27 17:57:30 [com.baidu.disconf.client.DisconfMgr]-[INFO] Conf File Map:
disconf-file: redis.properties
DisconfCenterFile [
keyMaps={}
additionalKeyMaps={redis.maxWait=3000, redis.hostName=172.171.51.154, redis.maxIdle=5, redis.port=6380, redis.maxActive=500}
cls=null
remoteServerUrl=/api/config/file?app=17wifiServer&env=local&type=0&key=redis.properties&version=1.0.0.0]
disconf-file: jdbc.properties
DisconfCenterFile [
keyMaps={}
additionalKeyMaps={jdbc.url=jdbc:mysql://172.171.48.110:3306/wifimanage?characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull, jdbc.minIdle=5, jdbc.username=root, jdbc.maxWait=3000, jdbc.removeAbandoned=true, jdbc.maxActive=15, jdbc.removeAbandonedTimeout=300, jdbc.maxIdle=30, jdbc.logAbandoned=true, jdbc.driver=com.mysql.jdbc.Driver, jdbc.password=root}
cls=null
remoteServerUrl=/api/config/file?app=17wifiServer&env=local&type=0&key=jdbc.properties&version=1.0.0.0]
disconf-file: configure.properties
DisconfCenterFile [
keyMaps={resource_server_url=FileItemValue{value=http://172.171.51.151:8081/Resources2/, field=private java.lang.String com.fnic.wifi.server.controller.ConfDIs.resourceUrl, setMethod=null}}
additionalKeyMaps={}
cls=class com.fnic.wifi.server.controller.ConfDIs
remoteServerUrl=/api/config/file?app=17wifiServer&env=local&type=0&key=configure.properties&version=1.0.0.0]
2016-04-27 17:57:30 [com.baidu.disconf.client.DisconfMgr]-[INFO] Conf Item Map:
2016-04-27 17:57:30 [com.baidu.disconf.client.DisconfMgr]-[INFO] ******************************* DISCONF END *******************************