基于Gitlab实现的配置中心(支持Docker)

最新推荐文章于 2024-04-19 18:31:05 发布
最新推荐文章于 2024-04-19 18:31:05 发布
阅读量1.6k 收藏
点赞数 2
分类专栏： Docker GitLab 文章标签： git gitlab 脚本 docker docker-工具
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiPanGeng/article/details/72898006
版权

项目介绍

项目地址: https://github.com/lipg/config-agent

配置中心工具，目前支持通过http，https的方式从git中下载配置文件。

gitlab支持在线Web修改文件，遂使用该方式可实现一个支持传统应用的配置中心。使用shell
脚本也可是实现该功能，但是为了提供更好的兼容性，遂使用Go专门写的Agent，不依赖与系统环境组件，如：curl、wget等。

基本流程：从Gitlab中获取访问Api的Access Key -> 使用Config下载配置文件 -> 将配置文件复制并覆盖到指定位置 -> 启动应用

项目结构

Docker+Jenkins的持续集成及相关脚本分享请查看 http://blog.lipg.cn/ji-yu-jenkinsshi-xian-de-docker-imagechi-xu-ji-cheng/

git作为配置中心，其每个仓库结构

  • 根目录
    • app/ : 项目配置文件
    • script/ : 项目所需脚本

项目结构(基于jenkins的Pipeline构建)

  • 根目录
    • Jenkinsfile : jenkins构建脚本
    • docker/ : Docker构建所需的Dockerfile等文件
      • entrypoint/ : 启动脚本
      • Dockerfile : docker构建脚本

使用方式

配置文件下载脚本 Get_Configuration.sh

#!/usr/bin/env bash
# 配置文件配置
# 配置文件所在的服务器,可使用环境变量AUTOZI_CONFIG_URL注入。
export DEFAULT_AUTOZI_CONFIG_URL='http://git.lipg.cn'
# 配置文件仓库名称,可使用环境变量AUTOZI_CONFIG_REPO注入。
export DEFAULT_AUTOZI_CONFIG_REPO='cloud/config-agent'
# 配置文件标示，可以使用环境变量AUTOZI_CONFIG_TARGET注入。(可以是分支名称、Tag、可以是commit ID。)
export DEFAULT_AUTOZI_CONFIG_TARGET='master'
# 授权的Token,可以使用环境变量AUTOZI_CONFIG_TOKEN注入。
export DEFAULT_AUTOZI_CONFIG_TOKEN=''
# 配置文件下载的临时目录,可以使用环境变量CONFIG_TMP_PATH注入
export AUTOZI_CONFIG_TMP_PATH='/tmp'

# 检查配置参数，如果未注入，则使用默认值
if [ -z "$AUTOZI_CONFIG_URL" ]; then
    export AUTOZI_CONFIG_URL="$DEFAULT_AUTOZI_CONFIG_URL"
fi
if [ -z "$AUTOZI_CONFIG_REPO" ]; then
    export AUTOZI_CONFIG_REPO="$DEFAULT_AUTOZI_CONFIG_REPO"
fi
if [ -z "$AUTOZI_CONFIG_TARGET" ]; then
    export AUTOZI_CONFIG_TARGET="$DEFAULT_AUTOZI_CONFIG_TARGET"
fi
if [ -z "$AUTOZI_CONFIG_TOKEN" ]; then
    export AUTOZI_CONFIG_TOKEN="$DEFAULT_AUTOZI_CONFIG_TOKEN"
fi
if [ -z "$AUTOZI_CONFIG_TMP_PATH" ]; then
    export AUTOZI_CONFIG_TMP_PATH="$DEFAULT_AUTOZI_CONFIG_TMP_PATH"
fi
# 下载配置到临时目录
mkdir -pv ${AUTOZI_CONFIG_TMP_PATH}
$bash_dir/config --url=${AUTOZI_CONFIG_URL} --repo=${AUTOZI_CONFIG_REPO} --branch=${AUTOZI_CONFIG_TARGET} --token=${AUTOZI_CONFIG_TOKEN} --path=${AUTOZI_CONFIG_TMP_PATH}/config.tar
# 将配置文件展开
cd ${AUTOZI_CONFIG_TMP_PATH} && tar -xvf config.tar --strip-components=1 && rm -rf config.tar && ls -lR

更新配置文件 App_Configuration.sh

将仓库中的app目录下的配置文件全部拷贝到指定目录，使用AUTOZI_CONFIG_PATH环境变量指定目录。

#!/usr/bin/env bash
# 检查目标环境
# 检查原始配置文件目录是否存在
if [ ! -d "$AUTOZI_CONFIG_TMP_PATH"  ] || [ ! -d "$AUTOZI_CONFIG_TMP_PATH/app"  ] ; then
    echo '配置文件不存在，将不处理任何配置';
fi
# 检查目标配置文件目录是否存在,不存在的话则创建目录
if [ ! -d "$AUTOZI_CONFIG_PATH" ]; then
    mkdir -pv ${AUTOZI_CONFIG_PATH};
fi
# 拷贝配置文件到指定目录
\cp -rv ${AUTOZI_CONFIG_TMP_PATH}/app/* ${AUTOZI_CONFIG_PATH}/
echo "完成APP配置文件处理。应用配置文件:$AUTOZI_CONFIG_TMP_PATH/app，目标路径:$AUTOZI_CONFIG_PATH";

扩展脚本

通用启动脚本 entrypoint.sh

#!/usr/bin/env bash
# 遇到任意命令返回非0则推出脚本
set -e
# 获取脚本所在的路径
bash_dir=$(cd `dirname $0`; pwd)
echo "启动脚本所在路径:$bash_dir";
# 设置默认参数
# 配置文件存储路径
export DEFAULT_AUTOZI_CONFIG_TMP_PATH='/tmp/config';
# 默认的配置文件路径,公共配置
export DEFAULT_AUTOZI_CONFIG_PATH='/usr/local/tomcat/webapps/ROOT/WEB-INF/classes';
# 处理公共配置文件
# 检查目标环境
if [ -z "$AUTOZI_CONFIG_TMP_PATH" ]; then
    export AUTOZI_CONFIG_TMP_PATH="$DEFAULT_AUTOZI_CONFIG_TMP_PATH";
fi
if [ -z "$AUTOZI_CONFIG_PATH" ]; then
    export AUTOZI_CONFIG_PATH="$DEFAULT_AUTOZI_CONFIG_PATH";
fi
echo "完成公共配置参数处理。AUTOZI_CONFIG_TMP_PACH:$AUTOZI_CONFIG_TMP_PATH ; AUTOZI_CONF_PATH:$AUTOZI_CONFIG_PATH";
# 更新全部配置文件
. ${bash_dir}/Get_Configuration.sh
# 处理App配置
. ${bash_dir}/App_Configuration.sh
# 处理Jar包配置文件
. ${bash_dir}/Jar_Reconfigure.sh
# 处理Tomcat配置
. ${bash_dir}/Tomcat_Configuration.sh
# 处理各环境独立脚本
. ${bash_dir}/Script_Configuration.sh

# 执行启动命令
exec "$@"

处理Jar包内的配置文件 Jar_Reconfigure.sh

#!/usr/bin/env bash
# 默认的lib依赖路径
export DEFAULT_APP_LIB_PATH='/usr/local/tomcat/webapps/ROOT/WEB-INF/lib';
# 检查原始配置文件目录是否存在
# 检查依赖资源目录
if [ -z "$APP_LIB_PATH" ]; then
    export APP_LIB_PATH="$DEFAULT_APP_LIB_PATH";
fi
Reconfigure(){
    # 查找Service包
    export JAR_FILE=$(find ${APP_LIB_PATH} -iregex ${JAR_TARGET_REGEX} | xargs ls -ltr | awk {'print $9'} | tail -1);
    echo "找到Service包，路径为:$JAR_FILE";
    # 跳转到配置文件目录
    cd ${AUTOZI_CONFIG_TMP_PATH}/${JAR_CONF_PATH};
    # 重新Service配置
    jar -uvf ${JAR_FILE} ./*;
    echo "完成Jar: $JAR_CONF_PATH 配置文件处理。应用配置文件:$AUTOZI_CONFIG_TMP_PATH/$JAR_CONF_PATH，目标路径:$AUTOZI_CLASS_PATH" 
}
# 处理Commons-Memcached的配置
export JAR_CONF_PATH='service-interface';
export JAR_TARGET_REGEX='.*/lzfinance-bt-service-interface-.*.jar';
Reconfigure;
# 处理Commons-Memcached的配置
export JAR_CONF_PATH='service-interface';
export JAR_TARGET_REGEX='.*/lzfinance-bt-service-interface-.*.jar';
Reconfigure;
.............

执行相关启动脚本，并打印所执行命令 Script_Configuration.sh

需要执行的脚本可以通过注入环境变量AUTOZI_SCRIPT_FILE来启动，脚本名称使用都好分割，如AUTOZI_SCRIPT_FILE=link.sh,del.sh,mv.sh,nfs.sh

#!/usr/bin/env bash
# 默认执行的脚本
export DEFAULT_AUTOZI_SCRIPT_FILE=('links');
# 检查脚本是否存在
if [ ! -d "$AUTOZI_CONFIG_TMP_PATH"  ] || [ ! -d "$AUTOZI_CONFIG_TMP_PATH/script"  ] ; then
    echo '配置脚本不存在，将不处理任何脚本!'
fi
# 检查初始化脚本的环境变量
if [ -z "$AUTOZI_SCRIPT_FILE" ]; then
    AUTOZI_SCRIPT_FILE=${DEFAULT_AUTOZI_SCRIPT_FILE[@]}
else
    # 从环境变量获取需要执行的脚本
    OLD_IFS="$IFS" 
    IFS="," 
    AUTOZI_SCRIPT_FILE=(${AUTOZI_SCRIPT_FILE})
    IFS="$OLD_IFS" 
fi
# 再次确认脚本
if [ ! ${AUTOZI_SCRIPT_FILE} ]; then
    AUTOZI_SCRIPT_FILE=()
fi
set -x
# 载入软件环境变量配置
for script in ${AUTOZI_SCRIPT_FILE[@]};do
    if [ -f "$AUTOZI_CONFIG_TMP_PATH/script/$script.sh" ]; then
        source "$AUTOZI_CONFIG_TMP_PATH/script/$script.sh" 
    else
        echo "文件$AUTOZI_CONFIG_TMP_PATH/script/$script.sh不存在，不进行载入。" 
    fi
done
set +x

启动后阻塞进程退出 sleep.sh

#!/usr/bin/env bash
# 遇到任意命令返回非0则推出脚本
set -e
echo '完成文件处理,启动bash阻塞容器';
# 使用死循环，阻止容器退出
while true;
do
    sleep 24h;
done

启动时处理Tomcat端口 Tomcat_Configuration.sh

#!/usr/bin/env bash
# Tomcat端口配置
export DEFAULT_TOMCAT_HTTP_PORT='8080';
export DEFAULT_TOMCAT_AJP_PORT='8009';
export DEFAULT_TOMCAT_SERVER_PORT='8005';
# 检查目标环境
if [ -z "$TOMCAT_HTTP_PORT" ]; then
    export TOMCAT_HTTP_PORT="$DEFAULT_TOMCAT_HTTP_PORT";
fi
if [ -z "$TOMCAT_AJP_PORT" ]; then
    export TOMCAT_AJP_PORT="$DEFAULT_TOMCAT_AJP_PORT";
fi
if [ -z "$TOMCAT_SERVER_PORT" ]; then
    export TOMCAT_SERVER_PORT="$DEFAULT_TOMCAT_SERVER_PORT";
fi
# 打印并重写配置
sed -n "s/Connector port=\"8080\"/Connector port=\"$TOMCAT_HTTP_PORT\"/"p /usr/local/tomcat/conf/server.xml
sed -i "s/Connector port=\"8080\"/Connector port=\"$TOMCAT_HTTP_PORT\"/" /usr/local/tomcat/conf/server.xml
sed -n "s/Connector port=\"8009\"/Connector port=\"$TOMCAT_AJP_PORT\"/"p /usr/local/tomcat/conf/server.xml
sed -i "s/Connector port=\"8009\"/Connector port=\"$TOMCAT_AJP_PORT\"/" /usr/local/tomcat/conf/server.xml
sed -n "s/Server port=\"8005\"/Server port=\"$TOMCAT_SERVER_PORT\"/"p /usr/local/tomcat/conf/server.xml
sed -i "s/Server port=\"8005\"/Server port=\"$TOMCAT_SERVER_PORT\"/" /usr/local/tomcat/conf/server.xml
echo "即将启动Tomcat,并使用端口HTTP:$TOMCAT_HTTP_PORT,AJP:$TOMCAT_AJP_PORT,Server:$TOMCAT_SERVER_PORT";

启动时解压jar包指定文件到项目，优先加载从而解决加载顺序问题 Jar_Uncompress.sh

#!/usr/bin/env bash
# 默认的类文件文件路径
export DEFAULT_AUTOZI_CLASS_PATH='/usr/local/tomcat/webapps/ROOT/WEB-INF/classes';
# 默认的lib依赖路径
export DEFAULT_APP_LIB_PATH='/usr/local/tomcat/webapps/ROOT/WEB-INF/lib';
# 检查需要解压的资源目录
if [ -z "$APP_LIB_PATH" ]; then
    export APP_LIB_PATH="$DEFAULT_APP_LIB_PATH";
fi
# 检查解压所需要的文件
if [ -z "$AUTOZI_CLASS_PATH" ]; then
    export AUTOZI_CLASS_PATH="$DEFAULT_AUTOZI_CLASS_PATH";
fi
# 检查解压所需要的文件
if [ -z "$JAR_UNCOMPRESS_REGEX" ]; then
    export JAR_UNCOMPRESS_REGEX='./*';
fi
# 解压Jar文件
Uncompress(){
    # 查找Service包
    export JAR_FILE=$(find ${APP_LIB_PATH} -iregex ${SERVICE_TARGET_REGEX} | xargs ls -ltr | awk {'print $9'} | tail -1);
    echo "找到需要解压的Jar包，路径为:$JAR_FILE";
    # 解压相关Service
    # 创建临时目录
    mkdir -pv /tmp/uncompress && cd /tmp/uncompress;
    # 解压并拷贝文件
    jar -xvf ${JAR_FILE};
    \cp -rv ${JAR_UNCOMPRESS_REGEX} ${AUTOZI_CLASS_PATH};
    # 清理文件
    cd /tmp && rm -rf /tmp/uncompress;
    echo "完成jar: $JAR_FILE 解压处理。处理文件: $JAR_UNCOMPRESS_REGEX,目标路径:$AUTOZI_CLASS_PATH";
}
# 处理文件配置
export JAR_TARGET_REGEX='.*/autozi-common-core-.*.jar';
export JAR_UNCOMPRESS_REGEX='./org';
Uncompress;
# 处理文件配置
export JAR_TARGET_REGEX='.*/autozi-common-core-.*.jar';
export JAR_UNCOMPRESS_REGEX='./org';
Uncompress;
.........
李盼庚
关注
专栏目录
Docker安装配置GitLab
qq_1801743621的博客
01-29 2113
docker安装GitLab、docker-compose安装GitLab、gitlab控制台设置中文、gitlab解决设置头像不生效、gitlab解决项目url乱码问题、gitlab邮箱配置、上传本地项目到GitLab、旧gitlab项目迁移
gitlab runner 安装、注册、配置、使用（Docker部署）
分享式获得也是一种学习的态度
01-24 9838
Gitlab Runner作为一个开源的项目，使用Go语言编写，可运行在不同系统重Gitlab Runner用于运行作业并将结果发给gitlab服务器Gitlab Runner与Gitlab CI结合使用，Gitlab CI是gitlab的开源持续集成服务，用于协调作业Gitlab Runner的版本安装时应注意与Gitlab版本尽量同步以防版本差异导致报错。
详解spring cloud config整合gitlab搭建分布式的配置中心
08-28
主要介绍了详解spring cloud config整合gitlab搭建分布式的配置中心,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
springcloud(六)：配置中心git示例
weixin_34072458的博客
05-30 193
随着线上项目变的日益庞大，每个项目都散落着各种配置文件，如果采用分布式的开发模式，需要的配置文件随着服务增加而不断增多。某一个基础服务信息变更，都会引起一系列的更新和重启，运维苦不堪言也容易出错。配置中心便是解决此类问题的灵丹妙药。 市面上开源的配置中心有很多，BAT每家都出过，360的QConf、淘宝的diamond、百度的disconf都是解决这类...
spring cloud 入门系列七：基于Git存储的分布式配置中心--Spring Cloud Config
JAVA开发老菜鸟的专栏
05-14 197
spring cloud 入门系列七：基于Git存储的分布式配置中心--Spring Cloud Config 我们前面接触到的spring cloud组件都是基于Netflix的组件进行实现的，这次我们来看下spring cloud 团队自己创建的一个全新项目：Spring Cloud Config. 它用来为分布式系统中的基础设施和微服务提供集中化的外部配置支持，分为服务端和客户端两个部分。...
配置中心gitlab
郝文的博客
12-27 410
uat验收：1.0.0 test测试：2.0.0
基于Docker+Gitlab搭建Spring Cloud分布式配置中心
SilverBullet@SDU
05-23 443
分布式配置中心 在分布式系统中，由于服务数量巨多，为了方便服务配置文件统一管理，实时更新，所以需要分布式配置中心组件。在 Spring Cloud 中，有分布式配置中心组件 Spring Cloud Config ，它支持配置服务放在配置服务的内存中（即本地），也支持放在远程 Git 仓库中。在 Spring Cloud Config 组件中，分两个角色，一是 Config Server，二是 C...
基于Jenkins+Gitlab+Docker实现SpringBoot项目自动部署
03-24
基于Jenkins+Gitlab+Docker实现SpringBoot项目自动部署 本文主要介绍了基于Jenkins、Gitlab和Docker实现SpringBoot项目自动部署的方法。下面将从Jenkins的安装、配置到自动化构建和部署的整个过程进行详细说明。 ...
使用Docker安装GitLab
最新发布
Y1567409的博客
04-19 854
GitLab简介GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务。更重要的是，GitLab是免费开源的，公司或者组织可以搭建自己的私有远程仓库GitLab。方便内部人员进行项目开发，提高开发效率，既不用公开源代码，又不需要花费额外的费用。安装GitLab远程仓库。
基于docker搭建gitlab
三头六臂的博客
06-17 478
基于docker搭建gitlab
SpringCloud搭建分布式配置中心(基于git)
weixin_30732825的博客
07-08 109
1.简介 Spring Cloud Config.它用来为分布式系统中的基础设施和微服务提供集中化的外部配置支持，分为服务端和客户端两个部分。 其中服务端也称为分布式配置中心，他是独立的微服务应用，用来连接配置仓库并为客户端提供获取接口(这些接口返回配置信息、加密、解密信息等)； 客户端是微服务架构中的各个微服务应用或基础设施，它们通过制定的配置中心来管理应用资源与业务相关...
springcloud 使用git作为配置中心
李维的博客
08-03 1万+
参考：http://www.ityouknow.com/springcloud 首先，需要明确一个配置中心提供的核心功能应该有什么 提供服务端和客户端支持 集中管理各环境的配置文件 配置文件修改之后，可以快速的生效 可以进行版本管理 支持大的并发查询 支持各种语言 Spring Cloud Config可以完美的支持以上所有的需求。 Spring Cloud Config项目是一个...
(六)配置中心（Git 版与动态刷新）
daziyuanazhen的博客
03-20 548
一、简介 Spring Cloud Config 是 Spring Cloud 团队创建的一个全新项目，用来为分布式系统中的基础设施和微服务应用提供集中化的外部配置支持，它分为服务端与客户端两个部分。其中服务端也称为分布式配置中心，它是一个独立的微服务应用，用来连接配置仓库并为客户端提供获取配置信息、加密 / 解密信息等访问接口；而客户端则是微服务架构中的各个微服务应用或基础设施，它们通过指定的...
使用git服务器结合Config搭建分布式配置中心（一）
qq_33002015的博客
07-29 517
微服务下的分布式配置中心最终实现理念：一个基于http协议的远程配置实现方式。通过统一的配置管理服务器进行配置管理，客户端通过https协议主动的拉取服务的的配置信息，完成配置获取。 说人话：统一管理配置, 快速切换各个环境的配置 官方文档：https://cloud.spring.io/spring-cloud-static/Finchley.SR1/multi/multi_spring-c...
spring cloud config整合gitlab搭建分布式的配置中心
热门推荐
牛奋lch
03-03 1万+
在前面的博客中，我们都是将配置文件放在各自的服务中，但是这样做有一个缺点，一旦配置修改了，那么我们就必须停机，然后修改配置文件后再进行上线，服务少的话，这样做还无可厚非，但是如果是成百上千的服务了，这个时候，就需要用到分布式的配置管理了。而spring cloud config正是用来解决这个问题而生的。下面就结合gitlab来实现分布式配置中心的搭建。spring cloud config配置中
Docker（二）集成部署gitlab+springCloud+config统一配置中心
qq_32827043的博客
08-09 655
Docker集成部署（二）gitlab+springboot+config统一配置中心1.在gitlab上建立config项目2. IDEA建立spring config工程需要使用配置中心的配置文件的模块设置打包部署config客户端的服务文件模块 1.在gitlab上建立config项目 建立好后使用git clone 拉取到本地 2. IDEA建立spring config工程 1.选择添...
gitlab docker 配置
weixin_41450945的博客
04-27 185
1.启动拉去docker images sudo docker run --detach \ --hostname gitlab.example.com \ --publish 443:443 --publish 80:80 --publish 22:22 \ --name gitlab \ --restart always \ --volume $GITLAB_HOME/gi...
springcloud 整合gitlab实现配置中心 动态刷新要点
三月泡生长在阳春三月天，把鲜红的美味奉献给世人
06-09 297
查看配置文件是否动态更新 http://192.168.0.71:10011/bmtp-settle-manage/dev/bmtp-nbcb/application-dev.yml
Git代码仓库管理系统的配置方法之：Gitlab
上周的博客
11-11 724
我们日常使用git可以对代码进行版本管理，但git不具备用户、用户权限、项目的管理功能，若要实现这些功能， 就需要配套一个仓库管理工具，常见的就有Gitlab、Girrit等，本文即介绍Gitlab的配置方法，相对于其他Git仓库管理工具，它安装非常简单，不需要数据库支持，免费，非常适合于小型团队。
gitlab使用 Docker 构建 Docker 镜像
12-05
GitLab是一个基于Web的版本控制系统，它支持Git作为其底层版本控制系统。GitLab提供了一个集中的平台，用于管理代码库、项目、CI/CD流程和部署。Docker是一种开源的应用容器引擎，它允许开发人员打包他们的应用和依赖项到一个可移植的容器中，然后发布到任何流行的Linux机器或Windows上。 使用Docker构建GitLab镜像可以帮助你更轻松地部署和管理你的应用。以下是如何使用Docker构建GitLab镜像的一般步骤： 1. **安装Docker**：首先，你需要在你的机器上安装Docker。你可以访问Docker官方网站获取安装指南。 2. **创建Dockerfile**：在GitLab项目的根目录下创建一个名为`Dockerfile`的文件。这个文件将定义构建镜像的步骤。 3. **安装GitLab**：在Dockerfile中，你需要安装GitLab。这通常可以通过使用Docker Hub上的官方镜像来完成。例如，你可以使用以下命令来安装GitLab： ```dockerfile FROM gitlab/gitlab-ce:latest ``` 这将从GitLab的官方镜像开始，并安装GitLab。 4. **配置GitLab**：根据需要，你可能还需要配置GitLab。这可能包括设置数据库、配置网络设置等。你可以使用Docker的VOLUME和EXPOSE指令来配置这些设置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值