关闭

使用ZooKeeper实现配置同步

3317人阅读 评论(0) 收藏 举报
分类:

前言

应用项目中都会有一些配置信息,这些配置信息数据量少,一般会保存到内存、文件或者数据库,有时候需要动态更新。当需要在多个应用服务器中修改这些配置文件时,需要做到快速、简单、不停止应用服务器的方式修改并同步配置信息到所有应用中去。本篇文章就是介绍如何使用ZooKeeper来实现配置的动态同步。

ZooKeeper

在《hive Driver类运行过程》一文中可以看到hive为了支持并发访问引入了ZooKeeper来实现分布式锁。参考《ZooKeeper典型应用场景一览》一文,ZooKeeper还可以用作其他用途,例如:

  • 数据发布与订阅(配置中心)
  • 负载均衡
  • 命名服务(Naming Service)
  • 分布式通知/协调
  • 集群管理与Master选举
  • 分布式锁
  • 分布式队列

一些在线系统在运行中,需要在不停止程序的情况下能够动态调整某一个变量的值并且能够及时生效。特别是当部署了多台应用服务器的时候,需要能够做到在一台机器上修改配置文件,然后在同步到所有应用服务器。这时候使用ZooKeeper来实现就很合适了。

数据发布与订阅

发布与订阅模型,即所谓的配置中心,顾名思义就是发布者将数据发布到ZK节点上,供订阅者动态获取数据,实现配置信息的集中式管理和动态更新。例如全局的配置信息,服务式服务框架的服务地址列表等就非常适合使用。

使用ZooKeeper的发布与订阅模型,可以将应用中用到的一些配置信息放到ZK上进行集中管理。这类场景通常是这样:应用在启动的时候会主动来获取一次配置,同时,在节点上注册一个Watcher,这样一来,以后每次配置有更新的时候,都会实时通知到订阅的客户端,从来达到获取最新配置信息的目的。这样的场景适合数据量很小,但是数据更新可能会比较快的需求。

配置存储方案

配置文件通常有如下几种保存方式:

  1. 将配置信息保存在程序代码中 这种方案简单,但每次修改配置都要重新编译、部署应用程序。显然这种方案很不方便,也不可靠,更无法做到修改的实时生效。

  2. 将配置信息保存在xml文件或者属性文件中 在参数信息保存在xml或者属性文件中,当需要修改参数时,直接修改 xml 文件。这样无需重新编译,只需重新部署修改的文件即可。但然后对所有的应用进行重新部署。这样做的缺点显而易见,要往上百台机器上重新部署应用,简直是一个噩梦。同时该方案还有一个缺点,就是配置修改无法做到实时生效。修改后往往过一段时间才能生效。

  3. 将配置信息保存在数据库中 当需要修改参数时,直接修改数据库,然后重启分布式应用程序,或者刷新分布式应用的缓存。尽管这种做法比以上两种方案简单,但却面临着单点失效问题。如果数据库服务器停机,则分布式应用程序的配置信息将无法更新。另外这种方案的配置修改生效实时性虽然比第二种方案好些,但仍然不能达到某些情况下的要求。

基于ZooKeeper的配置信息同步方案

如果使用ZooKeeper来实现,就可以直接把配置信息保存到ZooKeeper中,或者把属性文件内容保存到ZooKeeper中,当属性文件内容发生变化时,就通知监听者如应用程序去重新读取配置文件。

在网上搜索了一下,很能找到好用的现成的代码实现。有的基于ZooKeeper来扩张jdk的hashmap来存储配置参数,如:使用ZooKeeper实现静态数据中心化配置管理,也有人直接实现了一个基于java并发框架的工具包,如:menagerie


注意:以下部分文字和图来自:基于ZooKeeper的配置信息存储方案的设计与实现1.pdf

基于ZooKeeper的特性,借助ZooKeeper可以实现一个可靠的、简单的、修改配置能够实时生效的配置信息存储方案,整体的设计方案如图:

基于zookeeper的方案

整个配置信息存储方案由三部分组成:ZooKeeper服务器集群、配置管理程序、分布式应用程序。

ZooKeeper服务器集群存储配置信息,在服务器上创建一个保存数据的节点(创建节点操作);配置管理程序提供一个配置管理的UI界面或者命令行方式,用户通过配置界面修改ZooKeeper服务器节点上配置信息(设置节点数据操作);分布式应用连接到ZooKeeper集群上(创建ZooKeeper客户端操作),监听配置信息的变化(使用获取节点数据操作,并注册一个watcher)。

当配置信息发生变化时,分布式应用会更新程序中使用配置信息。

修改配置的时许图

源代码

找到一个淘宝工程师写的实现方式, 代码见:zkpublisher

优点

借助 ZooKeeper我们实现的配置信息存储方案具有的优点如下:

  1. 简单。尽管前期搭建ZooKeeper服务器集群较为麻烦,但是实现该方案后,修改配置整个过程变得简单很多。用户只要修改配置,无需进行其他任何操作,配置自动生效。
  2. 可靠。ZooKeeper服务集群具有无单点失效的特性,使整个系统更加可靠。即使ZooKeeper 集群中的一台机器失效,也不会影响整体服务,更不会影响分布式应用配置信息的更新。
  3. 实时。ZooKeeper的数据更新通知机制,可以在数据发生变化后,立即通知给分布式应用程序,具有很强的变化响应能力。

总结

本文参考了网上的一些文章,给出了基于ZooKeeper的配置信息同步方案,解决了传统配置信息同步方案的缺点如实时性差、可靠性差、复杂等。

参考文章


原创文章,转载请注明: 转载自JavaChen Blog,作者:JavaChen
原文链接地址:http://blog.javachen.com/2013/08/23/publish-proerties-using-zookeeper.html
1
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

ZooKeeper的配置信息存储方案的设计与实现_1分.pdf

  • 2015-10-27 18:39
  • 360KB
  • 下载

基于zookeeper的配置中心

转载自:https://github.com/knightliao/disconfDistributed Configuration Management Platform(分布式配置管理平台)专注于...
  • xvshu
  • xvshu
  • 2016-05-04 17:48
  • 14621

使用ZooKeeper实现配置同步

使用ZooKeeper实现配置同步 前言 应用项目中都会有一些配置信息,这些配置信息数据量少,一般会保存到内存、文件或者数据库,有时候需要动态更新。当需要在多个应用...
  • wongson
  • wongson
  • 2015-10-19 16:02
  • 12107

分布式设计与开发(三)------高一致性服务ZooKeeper

分布式环境中大多数服务是允许部分失败,也允许数据不一致,但有些最基础的服务是需要高可靠性,高一致性的,这些服务是其他分布式服务运转的基础,比如naming service、分布式lock等,这些分布式...
  • cutesource
  • cutesource
  • 2010-08-18 22:57
  • 60647

利用AbstractRoutingDataSource+注解实现动态数据源切换

在Spring 2.0.1中引入了AbstractRoutingDataSource, 该类充当了DataSource的路由中介, 能有在运行时, 根据某种key值来动态切换到真正的DataSourc...
  • x2145637
  • x2145637
  • 2016-09-27 17:37
  • 2782

zookeeper 数据源动态配置

zookeeper具体实现配置在这里不具体描述,可查看zookeper配置一、实现的方式数据库的连接都会从在数据源datasource,对数据库的连接或者连接池的具体配置都在其中,因此,我们在修改数据...
  • Lili429
  • Lili429
  • 2016-08-27 16:51
  • 1602

动态数据源配置

在使用dubbo作为分布式服务治理框架时,遇到了一个问题,享优惠码这样的大批量数据查询和导出接口,是不适合提供dubbo服务的。 所以要讲优惠码查询接口迁移到cms里来。这样的话需要配置两个数据源,具...
  • chang_li
  • chang_li
  • 2017-02-16 15:22
  • 297

利用zookeeper的发布/订阅模式实现配置动态变更

ZooKeeper的Watcher事件机制可以说分布式场景下的观察者模式的实现。基于这个watcher事件机制,配合注册到特定的ZNode节点,可以实现Java应用的配置运行时的变更。在学习zooke...
  • bruce128
  • bruce128
  • 2016-10-06 22:02
  • 4094

zk配置

参数说明: tickTime: zookeeper中使用的基本时间单位, 毫秒值. dataDir: 数据目录. 可以是任意目录. dataLogDir: log目录, 同样可以...
  • pdw2009
  • pdw2009
  • 2015-08-02 18:50
  • 1387

zookeeper 实现 配置管理(Configuration Management)

1  Create a Demo Class and run import java.io.IOException; import org.apache.zookeeper.KeeperExc...
  • Maya2000
  • Maya2000
  • 2013-07-01 23:21
  • 1172
    个人资料
    • 访问:27226次
    • 积分:373
    • 等级:
    • 排名:千里之外
    • 原创:4篇
    • 转载:18篇
    • 译文:0篇
    • 评论:1条
    文章分类
    最新评论