ZooKeeper实战应用之【统一配置管理】

最新推荐文章于 2020-10-23 16:57:44 发布
最新推荐文章于 2020-10-23 16:57:44 发布
阅读量415 收藏
点赞数
分类专栏： zookeeper

大型应用通常会按业务拆分成一个个业务子系统，这些大大小小的子应用，往往会使用一些公用的资源，比如：需要文件上传、下载时，各子应用都会访问公用的Ftp服务器。如果把Ftp Server的连接IP、端口号、用户名、密码等信息，配置在各子应用中，然后这些子应用再部署到服务器集群中的N台Server上，突然有一天，Ftp服务器要换IP或端口号，那么问题来了？不要紧张，不是问 挖掘机哪家强：），而是如何快速的把这一堆已经在线上运行的子应用，通通换掉相应的配置，而且还不能停机。

要解决这个问题，首先要从思路上做些改变：

1、公用配置不应该分散存放到各应用中，而是应该抽出来，统一存储到一个公用的位置（最容易想到的办法，放在db中，或统一的分布式cache server中，比如Redis，或其它类似的统一存储，比如ZooKeeper中）

2、对这些公用配置的添加、修改，应该有一个统一的配置管理中心应用来处理（这个也好办，做一个web应用来对这些配置做增、删、改、查即可）

3、当公用配置变化时，子应用不需要重新部署（或重新启动），就能使用新的配置参数（比较容易想到的办法有二个：一是发布/订阅模式，子应用主动订阅公用配置的变化情况，二是子应用每次需要取配置时，都实时去取最新配置）

由于配置信息通常不大，比较适合存放在ZooKeeper的Node中。主要处理逻辑的序列图如下：

解释一下：

考虑到所有存储系统中，数据库还是比较成熟可靠的，所以这些配置信息，最终在db中存储一份。

刚开始时，配置管理中心从db中加载公用配置信息，然后同步写入ZK中，然后各子应用从ZK中读取配置，并监听配置的变化（这在ZK中通过Watcher很容易实现）。

如果配置要修改，同样也先在配置管理中心中修改，然后持久化到DB，接下来同步更新到ZK，由于各子应用会监听数据变化，所以ZK中的配置变化，会实时传递到子应用中，子应用当然也无需重启。

示例代码：

这里设计了几个类，以模拟文中开头的场景：

FtpConfig对应FTP Server的公用配置信息，

ConfigManager对应【统一配置中心应用】，里面提供了几个示例方法，包括：从db加载配置，修改db中的配置，将配置同步到ZK

ClientApp对应子系统，同样也提供了几个示例方法，包括获取ZK的配置，文件上传，文件下载，业务方法执行

ConfigTest是单元测试文件，用于集成测试刚才这些类

为了方便，还有一个ZKUtil的小工具类

1
2
3
4
5
6
7
8
9
10
11
12
13
14
package  yjmyzz.test;
 
import  org.I0Itec.zkclient.ZkClient;
 
public  class  ZKUtil {
 
     public  static  final  String FTP_CONFIG_NODE_NAME =  "/config/ftp" ;
 
     public  static  ZkClient getZkClient() {
         return  new  ZkClient( "localhost:2181,localhost:2182,localhost:2183" );
     }
 
 
}

FtpConfig代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
package  yjmyzz.test;
 
import  java.io.Serializable;
 
/**
  * Created by jimmy on 15/6/27.
  */
public  class  FtpConfig  implements  Serializable {
 
     /**
      * 端口号
      */
     private  int  port;
 
     /**
      * ftp主机名或IP
      */
     private  String host;
 
     /**
      * 连接用户名
      */
     private  String user;
 
     /**
      * 连接密码
      */
     private  String password;
 
     public  FtpConfig() {
 
     }
 
     public  FtpConfig( int  port, String host, String user, String password) {
         this .port = port;
         this .host = host;
         this .user = user;
         this .password = password;
     }
 
     public  int  getPort() {
         return  port;
     }
 
     public  void  setPort( int  port) {
         this .port = port;
     }
 
     public  String getHost() {
         return  host;
     }
 
     public  void  setHost(String host) {
         this .host = host;
     }
 
     public  String getUser() {
         return  user;
     }
 
     public  void  setUser(String user) {
         this .user = user;
     }
 
     public  String getPassword() {
         return  password;
     }
 
     public  void  setPassword(String password) {
         this .password = password;
     }
 
 
     public  String toString() {
         return  user +  "/"  + password +  "@"  + host +  ":"  + port;
     }
}

ConfigManager代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
package  yjmyzz.test;
 
 
import  com.fasterxml.jackson.core.JsonProcessingException;
import  org.I0Itec.zkclient.ZkClient;
 
 
public  class  ConfigManager {
 
     private  FtpConfig ftpConfig;
 
 
     /**
      * 模拟从db加载初始配置
      */
     public  void  loadConfigFromDB() {
         //query config from database
         //TODO...
         ftpConfig =  new  FtpConfig( 21 ,  "192.168.1.1" ,  "test" ,  "123456" );
     }
 
 
     /**
      * 模拟更新DB中的配置
      *
      * @param port
      * @param host
      * @param user
      * @param password
      */
     public  void  updateFtpConfigToDB( int  port, String host, String user, String password) {
         if  (ftpConfig ==  null ) {
             ftpConfig =  new  FtpConfig();
         }
         ftpConfig.setPort(port);
         ftpConfig.setHost(host);
         ftpConfig.setUser(user);
         ftpConfig.setPassword(password);
         //write to db...
         //TODO...
     }
 
     /**
      * 将配置同步到ZK
      */
     public  void  syncFtpConfigToZk()  throws  JsonProcessingException {
         ZkClient zk = ZKUtil.getZkClient();
         if  (!zk.exists(ZKUtil.FTP_CONFIG_NODE_NAME)) {
             zk.createPersistent(ZKUtil.FTP_CONFIG_NODE_NAME,  true );
         }
         zk.writeData(ZKUtil.FTP_CONFIG_NODE_NAME, ftpConfig);
         zk.close();
     }
 
 
}

ClientApp类如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
package  yjmyzz.test;
 
import  org.I0Itec.zkclient.IZkDataListener;
import  org.I0Itec.zkclient.ZkClient;
 
import  java.util.concurrent.TimeUnit;
 
 
public  class  ClientApp {
 
     FtpConfig ftpConfig;
 
 
     private  FtpConfig getFtpConfig() {
         if  (ftpConfig ==  null ) {
             //首次获取时，连接zk取得配置，并监听配置变化
             ZkClient zk = ZKUtil.getZkClient();
             ftpConfig = (FtpConfig) zk.readData(ZKUtil.FTP_CONFIG_NODE_NAME);
             System.out.println( "ftpConfig => "  + ftpConfig);
 
             zk.subscribeDataChanges(ZKUtil.FTP_CONFIG_NODE_NAME,  new  IZkDataListener() {
 
                 @Override
                 public  void  handleDataChange(String s, Object o)  throws  Exception {
                     System.out.println( "ftpConfig is changed !" );
                     System.out.println( "node:"  + s);
                     System.out.println( "o:"  + o.toString());
                     ftpConfig = (FtpConfig) o; //重新加载FtpConfig
                 }
 
                 @Override
                 public  void  handleDataDeleted(String s)  throws  Exception {
                     System.out.println( "ftpConfig is deleted !" );
                     System.out.println( "node:"  + s);
                     ftpConfig =  null ;
                 }
             });
         }
         return  ftpConfig;
 
     }
 
     /**
      * 模拟程序运行
      *
      * @throws InterruptedException
      */
     public  void  run()  throws  InterruptedException {
 
         getFtpConfig();
 
         upload();
 
         download();
     }
 
     public  void  upload()  throws  InterruptedException {
         System.out.println( "正在上传文件..." );
         System.out.println(ftpConfig);
         TimeUnit.SECONDS.sleep( 10 );
         System.out.println( "文件上传完成..." );
     }
 
 
     public  void  download()  throws  InterruptedException {
         System.out.println( "正在下载文件..." );
         System.out.println(ftpConfig);
         TimeUnit.SECONDS.sleep( 10 );
         System.out.println( "文件下载完成..." );
     }
 
 
}

最终测试一把：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
package  yjmyzz.test;
 
import  com.fasterxml.jackson.core.JsonProcessingException;
import  org.junit.Test;
 
/**
  * Created by jimmy on 15/6/27.
  */
public  class  ConfigTest {
 
 
     @Test
     public  void  testZkConfig()  throws  JsonProcessingException, InterruptedException {
 
         ConfigManager cfgManager =  new  ConfigManager();
         ClientApp clientApp =  new  ClientApp();
 
         //模拟【配置管理中心】初始化时，从db加载配置初始参数
         cfgManager.loadConfigFromDB();
         //然后将配置同步到ZK
         cfgManager.syncFtpConfigToZk();
 
         //模拟客户端程序运行
         clientApp.run();
 
         //模拟配置修改
         cfgManager.updateFtpConfigToDB( 23 ,  "10.6.12.34" ,  "newUser" ,  "newPwd" );
         cfgManager.syncFtpConfigToZk();
 
         //模拟客户端自动感知配置变化
         clientApp.run();
 
     }
 
 
}

输出如下：

ftpConfig => test/123456@192.168.1.1:21
正在上传文件...
test/123456@192.168.1.1:21
文件上传完成...
正在下载文件...
test/123456@192.168.1.1:21
文件下载完成...

...


正在上传文件...
test/123456@192.168.1.1:21
ftpConfig is changed !
node:/config/ftp
o:newUser/newPwd@10.6.12.34:23
文件上传完成...
正在下载文件...
newUser/newPwd@10.6.12.34:23
文件下载完成...

 

从测试结果看，子应用在不重启的情况下，已经自动感知到了配置的变化，皆大欢喜。最后提一句：明白这个思路后，文中的ZK，其实换成Redis也可以，【统一配置中心】修改配置后，同步到Redis缓存中，然后子应用也不用搞什么监听这么复杂，直接从redis中实时取配置就可以了。具体用ZK还是Redis，这个看个人喜好。


原文地址：http://www.cnblogs.com/yjmyzz/p/4604947.html


guanshun1991
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分布式系统中zookeeper实现配置管理+集群管理
02-24
之前就了解过kafka，看的似懂非懂，最近项目组中引入了kafka，刚好接着这个机会再次学习下。Kafka在很多公司被用作分布式高性能...在了解kafka的时候，发现他与zookeeper绑定的比较紧密，为了更好的理解kafka，我必须
ZooKeeper 笔记(3) 实战应用之【统一配置管理】
weixin_34205826的博客
06-28 308
大型应用通常会按业务拆分成一个个业务子系统，这些大大小小的子应用，往往会使用一些公用的资源，比如：需要文件上传、下载时，各子应用都会访问公用的Ftp服务器。如果把Ftp Server的连接IP、端口号、用户名、密码等信息，配置在各子应用中，然后这些子应用再部署到服务器集群中的N台Server上，突然有一天，Ftp服务器要换IP或端口号，那么问题来了？不要紧张，不是问 挖掘机哪家强：），而是如何快速...
基于zookeeper实现统一配置管理
热门推荐
菜 头笔记
12-07 3万+
为什么要用统一配置？ 我们做项目时用到的配置比如数据库配置等...我们都是写死在项目里面，如果需要更改，那么也是的修改配置文件然后再投产上去，那么问题来了，如果做集群的呢，有100台机器，这时候做修改那就太不切实际了；那么就需要用到统一配置管理啦。
什么是ZooKeeper？
weixin_33888907的博客
04-15 427
前言 只有光头才能变强。 文本已收录至我的GitHub仓库，欢迎Star：github.com/ZhongFuChen… 上次写了一篇 什么是消息队列？以后，本来想入门一下Kafka的(装一下环境、看看Kafka一些概念啥的)。后来发现Kafka用到了ZooKeeper，而我又对ZooKeeper不了解，所以想先来学学什么是ZooKeeper，再去看看什么是Kafka。 ZooKeeper...
Zookeeper统一配置管理
不甘平庸的人
11-08 3635
package com.ai.paas.config; import java.io.IOException; import java.util.ArrayList; import java.util.HashMap; import java.util.Iterator; import java.util.List; import java.util.Properties;
zookeeper的一致性配置管理
XIAOMO__的博客
10-23 174
参考：https://blog.csdn.net/u013468915/article/details/80955110 配置： public class CommonConfig implements Serializable{ // 数据库连接配置 private String dbUrl; private String username; private String password; private String driverClass; public Co.
ZooKeeper实际应用案例-开发实战
02-01
为了加快检索速度，项目的数据分布在100台机器的内存里，我们称之为数据服务器。除了数据，这100台机器上均部署着检索程序。这些server之外，还有数台给前端提供接口的搜索server，这些机器属一个集群，我们称之为...
为zookeeper配置相应的acl权限
08-29
主要介绍了为zookeeper配置相应的acl权限的相关实例，具有一定参考价值，需要的朋友可以了解下。
zookeeper实战
05-30
zookeeper整合hadoop集群和非关系型数据库hbase的实战教程。
基于ZooKeeper与zkclient的统一配置管理实现（二）
chizhihe8199的博客
01-16 436
上一篇博客《基于ZooKeeper与zkclient的统一配置管理实现（一）》分享了基于ZooKeeper原生api实现的统一配置管理，本篇文章将通过使用zkclient封装后的api来再次实现该功能。 实现的效果与上一篇文章类似，这里不再赘述。 系统的结构 系统仍然是由四个组件组成：...
ZooKeeper场景实践：（2）集中式配置管理
人既无名的专栏
11-05 1万+
在分布式的环境中，可能会有多个对等的程序读取同样的配置文件，程序可以部署在多台机器上，如果配置采用文件的话，则需要为部署该程序的机器也部署一个配置文件，一旦要修改多个配置文件，而且容易产生不一致。集中式配置管理的思路是，将配置数据集中发布到ZooKeeper的节点上，供订阅者动态获取数据。实现配置的集中式管理和动态更新。
Zookeeper配置管理
以梦为码 随路可栖
06-02 538
Zookeeper的的配置可以分为三种，单机，伪集群和集群，三者具体操作差不多(集群时无非就修改一下配置文件)，因为现在手上就一台服务器，我就以单机模式演示，即一台服务器既当leader，也当follower。 Step1: 把zookeeper的tar包放在 /opt目录下 解压。 并把文件夹名改为zookeeper。如下图
ZooKeeper之配置管理
树和叶的博客
04-06 296
在以往的分布式应用程序中，或多或少都会有要修改或新增一些配置的时候，但程序部署在多台机器上，逐个修改配置就变个格外的困难，一般有一个方法，就是把配置信息从在配置文件中改成 保存在数据库里，这样配置文件的修改只要通过修改数据库的信息就可以修改配置信息，然后每个程序通过数据库获取配置信息，但是这样的做法缺点也是显而易见的，程序不知道配置信息什么时候进行了修改，这样会造成不能及时获取配置信息，并...
zookeeper 之配置管理
github_29989383的博客
11-06 291
zookeeper 是apache下开源的分布式协调工具。 基于这个工具可以实现分布式锁，由于它是开源的，因此衍生很多其他的功能，如配置管理。 在一些项目中有许许多多的配置文件，且在分布式环境下管理很困难，维护成本高。因此采用 zookeeper作为配置集中管理的手段，就显得很有效果。 zookeeper之所以能用作配置管理，主要基于它两个特点： 一是它的数据结构znode，类似
zookeeper实现配置管理
xjmfc的博客
05-27 619
为什么要用zookeeper? 安装zookeeper mkdir /opt/zookeeper mkdir -p /opt/zookeeper/data mkdir -p /opt/zookeeper/logs cd /opt/zookeeper 上传zookeeper-3.4.12.tar.gz至该目录下，tar zxvf zookeeper-3.4.12.tar.gz cd conf cp zoo_sample.cfg zoo.cfg vim zoo.cfg 创建环境变量 vim /etc.
zookeeper分布式配置管理
copy202的专栏
05-21 8013
配置中心代码： package test2; import java.io.IOException; import java.io.PrintStream; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.KeeperException; import org.apache.zookeeper.Watc
infrared-remote-candroid studiodemo
最新发布
05-05
android studio下载
zookeeper配置管理
08-06
在分布式应用环境中，Zookeeper可以用来管理配置信息。配置信息可以保存在Zookeeper的某个目录节点中，然后每台应用机器可以监控配置信息的状态。当配置信息发生变化时，Zookeeper会通知已经在Zookeeper上注册的观察...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值