【开源周荐】分布式配置管理神器Qihoo360 QConf入门指北（部署、配置、使用(1)

最新推荐文章于 2024-05-31 22:45:00 发布

2401_84182665

最新推荐文章于 2024-05-31 22:45:00 发布

阅读量728

点赞数 15

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84182665/article/details/138690428

版权

程序员专栏收录该内容

126 篇文章 0 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

在日常开发中，会涉及到很多配置信息，如数据库配置（ip、port、username、passwaord、最大连接数等），日志配置（输出路径、清理时间、level），以及自定义配置等，这些配置可能经常发生变化，如果写死在代码里，每次变更都需要修改到代码，并且提交、编译、上线等一套操作极其复杂，且容易出错。

所以将可变部分解耦，放到配置文件里（.yml、.xml），如springboot、springmvc等项目里会有一个resources目录，该目录下可以放一些配置文件，编译打包时可以和源码一起打包成一个jar，此时有改配置也不需要修改到源码，但是还是需要重新打包上线。也有一些配置直接放在机器本地，通过绝对路径读取，一个服务可能部署在多台机器，一份配置可能分布在不同机器，同步和修改都加大了运维成本。

QConf就是为了解决以上问题而诞生的。QConf是Qihoo360的开源项目，其致力于将配置内容从代码中完全解耦，并提供可靠高效的配置访问和更新服务。QConf在360内部主要承担配置管理和服务注册发现的角色，基本覆盖了公司大大小小业务，上万台机器，稳定运行至今。

二、部署和配置

学一门技术，首先就是用起来。QConf依赖ZooKeeper存储配置，需要先部署ZooKeeper，因为二者都是开箱即用的工具，所以部署过程很简单。

1、部署ZooKeeper

一般情况ZooKeeper、QConf等工具安装在/usr/local/目录下。顺序执行如下命令即可安装ZooKeeper：

cd /usr/lcoal
mkdir zookeeper
cd zookeeper
# 下载zookeeper，可访问https://mirrors.cnnic.cn/apache/zookeeper获取不同版本的下载链接
wget https://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
# 解压
tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
# cp一份配置
cd apache-zookeeper-3.7.0-bin/conf && cp zoo_sample.cfg zoo.cfg
# 启动zookeeper 默认启动端口2181，单机版
cd ../bin && sh zkServer.sh start
# 指定配置启动
sh zkServer.sh start /usr/local/zookeeper/apache-zookeeper-3.7.0-bin/conf/zoo-3.cfg
# 指定配置重启
sh zkServer.sh restart /usr/local/zookeeper/apache-zookeeper-3.7.0-bin/conf/zoo-3.cfg
# 其他可行命令
stop、status、help  ...

需要注意：

ZooKeeper运行需要JDK环境。
如果个人资源有限，只有一台服务器的话，可以部署伪集群ZooKeeper，奇数，至少3个实例。

2、连接zookeeper客户端

ZooKeeper安装完毕后，需要加一些测试数据，同时也可以验证下刚才是否安装成功：

# 连接客户端，默认连接2181
sh zkCli.sh
# 指定服务端连接
sh zkCli.sh -server 127.0.0.1:2191

连接客户端后，如果显示CONNECTED，就说明安装成功了。

连接zk客户端

执行如下命令，创建一些测试数据：

create /demo demo
create /demo/confs confs
create /demo/confs/conf1 111111111111111111111
create /demo/confs/conf2 222222222222222222222
create /demo/confs/conf3 333333333333333333333

3、部署Qconf

Qconf的部署方式有两种，一种源码方式，一种是下载已经编译好的rpm包，后者更简单。这里只介绍rpm方式：

访问该链接，获取最新rpm包https://github.com/Qihoo360/QConf/releases，顺序执行如下命令进行安装：

cd /usr/lcoal
mkdir qconf
cd qconf
# 下载
wgethttps://github.com/Qihoo360/QConf/releases/download/1.2.1/QConf-1.2.1-1.el6.x86_64.rpm
# 安装
rpm -ivh QConf-1.2.1-1.el6.x86_64.rpm
# 启动qconf-agent
cd /usr/local/qconf
cd bin && sh agent-cmd.sh start
# 环境配置，这样在各个目录都可以执行qonf的命令
vim /etc/profile
# 将如下配置复制到profile最后面即可
#qconf
QCONF\_HOME=/usr/local/qconf
PATH=$QCONF\_HOME/bin:$PATH
export QCONF_HOME
export PATH

4、测试获取配置

Qconf提供了如下可选命令：

qconf get_conf xxx ，获取xxx的配置内容。
qconf get_batch_keys xxx，批量获取xxx的子项目。
qconf get_host和qconf get_allhost 和服务发现有关。

qconf命令

qconf get_conf /demo/confs/conf1
qconf get_batch_keys /demo/confs

测试qconf命令

5、Qconf配置文件

Qconf的配置比较少也相对简单：

qconf配置文件

（1）agent.conf，qconf_agent的配置：

agent.conf
qconf_agent启动时会自动给zk注册一个临时节点（register_node_prefix=/qconf/__qconf_register_hosts），qconf_agent停止了，对应的zk临时节点也会自动清除，所以可以根据这个特性，判断qconf_agent是否存活。

基本逻辑是，定时获取zk/qconf/__qconf_register_hosts下hostname列表和现有的hostname列表进行对比，不在/qconf/__qconf_register_hosts里则认为该机器上的qconf_agent未运行。

（2）idc.conf，配置zk集群（这里配置了两个集群环境，一个test，一个dev，那Qconf是使用哪个集群呢？）：

idc.conf

（3）localidc，指定qconf当前使用的zk集群环境：

三、SDK获取配置

Qconf支持c/c++, shell, php, python, lua, java, go, node等语言获取配置，这里只介绍java方式，其他方式可参考官方文档：

<dependency>
    <groupId>qconf-client</groupId>
    <artifactId>qconf-client</artifactId>
    <version>1.2.2</version>
</dependency>

// 导包
import net.qihoo.qconf.Qconf;
import net.qihoo.qconf.QconfException;

// 方法
// get configure value
String value = Qconf.getConf("demo/confs");
// get all children nodes'key
ArrayList keys = Qconf.getBatchKeys("demo/confs");
// get all children nodes' key and value
Map<String, String> confs = Qconf.getBatchConf("demo/confs");
//... ...

注意：

网上mvn仓库好像下载不到qconf-client。如有需要，可通过如下百度网盘链接获取：

链接：https://pan.baidu.com/s/1bATv3Bqo2P5Ly3RfLPafjg
提取码：yyds

四、架构与原理

QConf一开始对配置管理的定位，就是解耦配置和代码，让配置更简单高效，使得整个架构非常简单，且容易部署和使用。

QConf使用ZooKeeper服务器存储所有的配置信息。众所周知，ZooKeeper的存储是树状的，类似于文件目录的形式，所以QConf配置名为ZooKeeper的节点名，配置项的值为ZooKeeper的节点值。

而主要选择ZooKeeper作为配置存储的原因是，ZooKeeper的监听回调机制。客户端可以向ZooKeeper服务端注册感兴趣的事件监听(watcher)，这些事件包括：节点被创建(ZOO_CREATED_EVENT)、节点被删除(ZOO_DELETED_EVENT)、节点值改变(ZOO_CHANGED_EVENT)、子节点变化(ZOO_CHILD_EVENT)、客户端断开或重新连接(ZOO_SESSION_EVENT)等，一旦这些事件发生，ZooKeeper服务端就会通知客户端，执行客户端注册的回调函数。

QConf就是利用ZooKeeper的监听回调机制，实现配置及时更新和同步。

1、QConf的特点

因为QConf的定位和技术选型，它具备以下特点：

单条配置不宜太大，受ZooKeeper节点限制，最大为1MB。
读取配置低延迟，性能高。
配置更新，可以几秒内同步更新到所有机器。
适合读多写少场景。
安装部署方便，使用简单。
支持c/c++、shell、php、python、lua、java、go、node 等语言。

2、整体架构

如下图，是QConf实际生产中的基本架构，包括顶端的QConf管理端、部署Zookeeper的服务端，以及QConf的客户端。

qconf整体架构

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

图片转存中…(img-8b9uHO7f-1715365940073)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

2401_84182665

关注

15
点赞
踩
12

收藏

觉得还不错? 一键收藏
1
评论
【开源周荐】分布式配置管理神器Qihoo360 QConf入门指北（部署、配置、使用(1)

在日常开发中，会涉及到很多配置信息，如数据库配置（ip、port、username、passwaord、最大连接数等），日志配置（输出路径、清理时间、level），以及自定义配置等，这些配置可能经常发生变化，如果写死在代码里，每次变更都需要修改到代码，并且提交、编译、上线等一套操作极其复杂，且容易出错。所以将可变部分解耦，放到配置文件里（.yml.xml），如springbootspringmvc等项目里会有一个resources。
复制链接

扫一扫