Apollo介绍
Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。
服务端基于Spring Boot和Spring Cloud开发,打包后可以直接运行,不需要额外安装Tomcat等应用容器。
Java客户端不依赖任何框架,能够运行于所有Java运行时环境,同时对Spring/Spring Boot环境也有较好的支持。.Net客户端不依赖任何框架,能够运行于所有.Net运行时环境。
Apollo支持4个维度管理Key-Value格式的配置:
application (应用)
environment (环境)
cluster (集群)
namespace (命名空间)
github地址:https://github.com/ctripcorp/apollo ,最新版本:1.7.1
- 概念:
application (应用):实际使用配置的应用,每个应用都要有唯一的身份表示——appId,Apollo客户端可以根据appId去获取对应的配置
environment (环境):配置对应的环境,Apollo客户端在运行时需要知道当前应用处于哪个环境,从而可以去获取应用的配置。环境默认是通过读取机器上的配置(server.properties中的env属性)指定的
cluster (集群):一个应用下不同实例的分组。对不同的cluster,同一个配置可以有不一样的值,如zookeeper地址。集群默认是通过读取机器上的配置(server.properties中的idc属性)指定的
namespace (命名空间):一个应用下不同配置的分组。可以把namespace类别为文件,不同类型的配置存放在不同的文件中,如数据库配置文件、RPC配置文件、应用自身的配置文件等
- 架构图:
Config Service提供配置的读取、推送等功能,服务对象是Apollo客户端
Admin Service提供配置的修改、发布等功能,服务对象是Apollo Portal(管理界面)
Config Service和Admin Service都是多实例、无状态部署,所以需要将自己注册到Eureka中并保持心跳
在Eureka之上加了一层Meta Server用于封装Eureka的服务发现接口
Client通过域名访问Meta Server获取Config Service服务列表(IP+Port),而后直接通过IP+Port访问服务,同时在Client侧会做load balance、错误重试
Portal通过域名访问Meta Server获取Admin Service服务列表(IP+Port),而后直接通过IP+Port访问服务,同时在Portal侧会做load balance、错误重试
为了简化部署,实际上会把Config Service、Eureka和Meta Server三个逻辑角色部署在同一个JVM进程中
- 客户端:
1. 客户端和服务端保持了一个通过Http Long Polling实现的长连接,能第一时间获得配置更新的推送
2. 客户端还会定时从Apollo配置中心服务端拉取应用的最新配置
这是一个fallback机制,为了防止推送机制失效导致配置不更新
客户端定时拉取会上报本地版本,所以一般情况下,对于定时拉取的操作,服务端都会返回304 - Not Modified
定时频率默认为每5分钟拉取一次,客户端也可以通过在运行时指定System Property: apollo.refreshInterval来覆盖,单位为分钟
3. 客户端从Apollo配置中心服务端获取到应用的最新配置后,会保存在内存中
4. 客户端会把从服务端获取到的配置在本地文件系统缓存一份
在遇到服务不可用,或网络不通的时候,依然能从本地恢复配置
5. 应用程序从Apollo客户端获取最新的配置、订阅配置更新通知
- 特点:
统一管理不同环境、不同集群的配置
配置修改实时生效(热发布)
版本发布管理,支持灰度发布
权限管理、发布审核、操作审计
客户端配置信息监控
提供开放平台API
部署简单,仅依赖mysql
- 可用性:
配置中心作为基础服务,可用性要求非常高。
场景 | 影响 | 降级 | 原因 |
---|---|---|---|
某台config service下线 | 无影响 | Config service无状态,客户端重连其它config service | |
所有config service下线 | 客户端无法读取最新配置,Portal无影响 | 客户端重启时,可以读取本地缓存配置文件 | |
某台admin service下线 | 无影响 | Admin service无状态,Portal重连其它admin service | |
所有admin service下线 | 客户端无影响,portal无法更新配置 | ||
某台portal下线 | 无影响 | Portal域名通过slb绑定多台服务器,重试后指向可用的服务器 | |
全部portal下线 | 客户端无影响,portal无法更新配置 | ||
某个数据中心下线 | 无影响 | 多数据中心部署,数据完全同步,Meta Server/Portal域名通过slb自动切换到其它存活的数据中心 |
环境准备
- 角色划分:
系统:CentOS 7.8 Java:1.8
Meta Server/Config Service 192.168.30.129
Admin Service 192.168.30.130
Portal Server/MySQL 192.168.30.131
- 全部关闭防火墙和selinux:
systemctl stop firewalld && systemctl disable firewalld
sed -i 's/=enforcing/=disabled/g' /etc/selinux/config && setenforce 0
- 全部安装Java环境:
mkdir /software && cd /software
tar xf jdk-8u231-linux-x64.tar.gz && mv jdk1.8.0_231/ /usr/local/jdk
vim /etc/profile
JAVA_HOME=/usr/local/jdk
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib
export JAVA_HOME PATH CLASSPATH
source !$
java -version
ln -s /usr/local/jdk/bin/java /usr/local/bin/java
数据库部署
Apollo服务端共需要两个数据库:ApolloPortalDB
和ApolloConfigDB
,只需要导入数据库即可。
192.168.30.131
- 安装mysql:
cd /software
vim mysql_install.sh
#!/bin/bash
#用于安装mysql
MYSQL_VER=mysql-5.7.31
PASSWORD=123456789
[ ! -d /software/ ] && mkdir /software
#安装依赖包
install_package() {
cd /software
yum install -y curl libaio-devel &>/dev/null
}
#安装mysql
install_mysql() {
#创建mysql用户
id mysql &> /dev/null
[ $? -ne 0 ] && useradd -r -s /sbin/nologin mysql
#下载mysql
if [ ! -f $MYSQL_VER.tar.gz ] && [ ! -f $MYSQL_VER-*.tar.gz ]
then
curl -o $MYSQL_VER.tar.gz https://mirrors.tuna.tsinghua.edu.cn/mysql/downloads/MySQL-5.7/$MYSQL_VER-linux-glibc2.12-x86_64.tar.gz
fi
#解压
if [ -f $MYSQL_VER.tar.gz ]
then
tar xf $MYSQL_VER.tar.gz
[ ! -d /home/mysql/ ] && mv $MYSQL_VER-*/ /home/mysql
fi
#创建mysql数据存放及安装目录
[ ! -d /home/mysql/data ] && mkdir /home/mysql/data
[ ! -d /home/mysql/tmp/ ] && mkdir /home/mysql/tmp
[ ! -f /home/mysql/log/error.log ] && mkdir /home/mysql/log && touch /home/mysql/log/error.log
chown -R mysql:mysql /home/mysql/
#初始化
cd /home/mysql
if [ $? -eq 0 ]
then
echo -e "\033[34m数据库开始初始化\033[0m"
./bin/mysqld --initialize-insecure --user=mysql --basedir=/home/mysql --datadir=/home/mysql/data
if [ $? -eq 0 ]
then
echo -e "\033[36m数据库初始化成功\033[0m"
else
echo -e "\033[31m初始化失败,请检查\033[0m"
exit 1
fi
fi
#配置mysql
cat > /etc/my.cnf << EOF
[client]
port = 3306
socket = /home/mysql/tmp/mysql.sock
[mysql]
default-character-set=utf8
[mysqld]
default-storage-engine=INNODB
character_set_server=utf8
explicit_defaults_for_timestamp
basedir=/home/mysql
datadir=/home/mysql/data
socket=/home/mysql/tmp/mysql.sock
log_error = /home/mysql/log/error.log
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
EOF
#6、配置环境变量
n=`grep "/home/mysql/bin" /etc/profile |wc -l`
if [ $n -eq 0 ]
then
echo "export PATH=$PATH:/home/mysql/bin" >> /etc/profile && source /etc/profile
else
source /etc/profile
fi
#配置服务
cat > /usr/lib/systemd/system/mysqld.service << EOF
[Unit]
Description=MySQL Server
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/home/mysql/bin/mysqld --defaults-file=/etc/my.cnf
#连接数限制
LimitNOFILE=65535
LimitNPROC=65535
#Restart配置可以在进程被kill掉之后,让systemctl产生新的进程,避免服务挂掉
#Restart=always
PrivateTmp=false
EOF
systemctl daemon-reload && systemctl enable mysqld && systemctl start mysqld
if [ $? -eq 0 ]
then
echo -e "\033[36mmysql安装成功并启动\033[0m"
fi
#修改数据库密码
/home/mysql/bin/mysql -uroot -D mysql -e "UPDATE user SET authentication_string=PASSWORD("$PASSWORD") WHERE user='root';"
/home/mysql/bin/mysql -uroot -e "FLUSH PRIVILEGES;"
/home/mysql/bin/mysql -uroot -p$PASSWORD -e "grant all privileges on *.* to root@'%' identified by '$PASSWORD';"
if [ $? -eq 0 ]
then
echo -e "\033[36m数据库密码修改为$PASSWORD成功\033[0m"
else
echo -e "\033[31m数据库密码修改为$PASSWORD失败,为空\033[0m"
fi
}
install_package
install_mysql
echo -e "\033[36mmysql安装完毕\033[0m"
sh mysql_install.sh
source /etc/profile
mysql -uroot -D mysql -e "UPDATE user SET authentication_string=PASSWORD("123456789") WHERE user='root';"
mysql -uroot -e "FLUSH PRIVILEGES;"
mysql -uroot -p123456789 -e "grant all privileges on *.* to root@'%' identified by '123456789';"
- 创建ApolloPortalDB:
cd /software
git clone https://github.com/ctripcorp/apollo.git
mysql -uroot -p123456789 < apollo/scripts/sql/apolloportaldb.sql
mysql -uroot -p123456789
select `Id`, `Key`, `Value`, `Comment` from `ApolloPortalDB`.`ServerConfig` limit 1;
+----+--------------------+-------+--------------------------+
| Id | Key | Value | Comment |
+----+--------------------+-------+--------------------------+
| 1 | apollo.portal.envs | dev | 可支持的环境列表 |
+----+--------------------+-------+--------------------------+
1 row in set (0.00 sec)
- 创建ApolloConfigDB:
mysql -uroot -p123456789 < apollo/scripts/sql/apolloconfigdb.sql
mysql -uroot -p123456789
select `Id`, `Key`, `Value`, `Comment` from `ApolloConfigDB`.`ServerConfig` limit 1;
+----+--------------------+-------------------------------+------------------------------------------------------+
| Id | Key | Value | Comment |
+----+--------------------+-------------------------------+------------------------------------------------------+
| 1 | eureka.service.url | http://localhost:8080/eureka/ | Eureka服务Url,多个service以英文逗号分隔 |
+----+--------------------+-------------------------------+------------------------------------------------------+
1 row in set (0.00 sec)
部署
- 192.168.30.129:
cd /software
wget https://github.com/ctripcorp/apollo/releases/download/v1.7.1/apollo-configservice-1.7.1-github.zip
unzip -qd apollo-configservice apollo-configservice-1.7.1-github.zip
vim apollo-configservice/config/application-github.properties
# DataSource
spring.datasource.url = jdbc:mysql://192.168.30.131:3306/ApolloConfigDB?characterEncoding=utf8
spring.datasource.username = root
spring.datasource.password = 123456789
vim apollo-portal/scripts/startup.sh #取消注释
export JAVA_OPTS="-Xms6144m -Xmx6144m -Xss256k -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=384m -XX:NewSize=4096m -XX:MaxNewSize=4096m -XX:SurvivorRatio=8"
./apollo-configservice/scripts/startup.sh
- 192.168.30.130:
cd /software
wget https://github.com/ctripcorp/apollo/releases/download/v1.7.1/apollo-adminservice-1.7.1-github.zip
unzip -qd apollo-adminservice apollo-adminservice-1.7.1-github.zip
vim apollo-adminservice/config/application-github.properties
# DataSource
spring.datasource.url = jdbc:mysql://192.168.30.131:3306/ApolloConfigDB?characterEncoding=utf8
spring.datasource.username = root
spring.datasource.password = 123456789
vim apollo-adminservice/scripts/startup.sh #取消注释
export JAVA_OPTS="-Xms2560m -Xmx2560m -Xss256k -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=384m -XX:NewSize=1536m -XX:MaxNewSize=1536m -XX:SurvivorRatio=8"
./apollo-adminservice/scripts/startup.sh
- 192.168.30.131:
cd /software
wget https://github.com/ctripcorp/apollo/releases/download/v1.7.1/apollo-portal-1.7.1-github.zip
unzip -qd apollo-portal apollo-portal-1.7.1-github.zip
vim apollo-portal/config/application-github.properties
# DataSource
spring.datasource.url = jdbc:mysql://192.168.30.131:3306/ApolloPortalDB?characterEncoding=utf8
spring.datasource.username = root
spring.datasource.password = 123456789
vim apollo-portal/scripts/startup.sh #取消注释
export JAVA_OPTS="-Xms2560m -Xmx2560m -Xss256k -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=384m -XX:NewSize=1536m -XX:MaxNewSize=1536m -XX:SurvivorRatio=8"
./apollo-portal/scripts/startup.sh
如果需要修改JVM参数,可以修改
scripts/startup.sh
的JAVA_OPTS
部分如要调整服务的日志输出路径,可以修改
scripts/startup.sh
和 各自配置文件中的LOG_DIR
如要调整服务的监听端口,可以修改
scripts/startup.sh
中的SERVER_PORT
- 访问ui:
打开192.168.30.131:8070
,账号/密码:apollo
/admin
。
至此,Apollo部署完成。这里仅部署一个环境,实际情况下可能需要部署3 ~ 4个环境:DEV(开发)、FAT(测试)、UAT(集成)、PRO(生产)。
具体用法参考:官方github