基于docker打造实现自动化集成和无状态持续交付流水线

最新推荐文章于 2022-05-14 15:44:18 发布

组枪玩剑

最新推荐文章于 2022-05-14 15:44:18 发布

阅读量708

点赞数

分类专栏： linux系统运维 docker python 系统架构

本文链接：https://blog.csdn.net/u010716706/article/details/78637561

版权

linux系统运维同时被 3 个专栏收录

17 篇文章 0 订阅

订阅专栏

docker

7 篇文章 0 订阅

订阅专栏

python

3 篇文章 0 订阅

订阅专栏

项目背景

此项目是我在我第一家公司，一家做p2p的互金公司做的项目。当时我主要负责公司所有项目在预发布环境和生产环境部署。公司早期的技术骨干多来自BAT，所以有着很鲜明互联网公司的基因，采用的也是敏捷开发模式。所以是靠着持续迭代的方式，来不断优化改进产品的。并且是用dubbo这样的SOA架构，对后台应用做了比较细致地拆分，因此有大量独立部署的应用服务。这样一来，作为负责发布部署的运维人员，就需要承担高负荷的发布部署工作。

三大痛点

我先说说在当时的技术条件下，发布部署工作的几个痛点：

1.环境层次较多

我们当时的流程里包括多套环境：开发环境、测试环境、预发布生产环境，一个版本的代码从开发开始，到生产为止，每个环境都需要做部署，以进行开发、测试验收和投入最终的生产。

2.应用配置和应用代码耦合

应用代码是采用 Tomcat运行的，配置以配置文件的方式存放在本地读取，在不同的环境中，诸如有关数据库访问地址、中间件地址等配置项就完全不一样，需要部署人员对其一一手工修改以适应相应的环境，如果有遗漏和错误，哪怕是多一个空格这种肉眼难以察觉的错误，都可能引发致命的问题。

3.Docker镜像创建时间长，且需要重复创建

虽然在我接手此块工作之前，已经在除开发环境以外的其他三套环境，引入了Docker容器。但是由于前面说的第二个痛点，所以要将Tomcat应用以Docker容器的方式运行，必须在创建镜像时将代码和与环境相适应的配置文件同时ADD。这样一来，镜像就做不到通用，即使是统一版本的代码，也必须在多套环境创建多个镜像，传说中的Docker的核心价值“一次编排，随处可用”在当时完全没有体现。每次创建镜像都要对配置文件进行修改，等待将镜像上传个集团科技支持公司维护的镜像仓库（通过公网走VPN），十分费事又费时。

综上，要提升效率，提升运维人员的价值感，就必须追求做到发布流程的自动化，将各个环节都打通。整个流程的痛点和难点，都集中在配置文件和代码耦合这个关键问题上。我也做过很多尝试，包括用python脚本拉取数据库存储的方式自动化修改配置文件。经过大量踩坑和技术调研，我最终采用下面这套方案，找到了Docker正确的打开方式，实现了自动化集成和无状态持续交付流水线。

解决方案：

方案主要流程:

自动化集成和无状态交付流水线流程图

1.在不同的环境搭建etcd作为应用配置中心，存储常用的应用配置项的键值对。

2.由测试工程师通过web控制台，编写应用配置文件的模版文件，调用docker-py将模版文件随maven打包的应用代码和confd进行编排，在测试环境创建新的docker镜像;

3.通过docker-py用新建的镜像创建容器运行，容器内部启动脚本自动调用confd生成配置文件，上报war包MD5值，测试对应用进行测试; 4.测试环境测试通过，通过web控制台测试将镜像从内网测试环境push至阿里云（预发布和生产环境）的私有镜像仓库Harbor，用tag更换标签，测试工程师向运维申请预发布测试。

5.运维工程师同意预发布测试，通过web控制台，在预发布环境从Harbor拉取镜像，创建容器并启动，通过web控制台查看日志和MD5值无异常后，交由测试工程师继续在预发布环境测试验证。

6.预发布环境测试通过，测试工程师提出生产发布申请，运维工程师参照第5步流程进行生产发布和验收。

7.自动录入数据库一次完整的发布操作过程，以便异常时回退和管理分析;

项目亮点:

1.大幅简化了发布工作流程，发布时间大幅缩短，一次配置修改，一次编排，一次镜像上传，随处可用；

2.全自动化流程，减少了人工干预，节约人力资源也减少人为错误;

3.实现了代码和配置的解耦，用docker容器化部署和配置中心做到了与环境无关，从内网到云环境无缝衔接;

4.人性化操作，包括docker镜像创建，容器部署，war包校验，日志查看等操作，全流程都可以用web控制台操作，非常简单人性化，负责业务测试的同事不需掌握docker等底层技术，也可以非常容易地上手操作。

技术栈

代码管理：git／gitlab

打包编译工具：maven

容器：docker

镜像仓库：harbor

应用配置中心：redis

Docker管理API：docker-py

配置文件模版渲染程序：confd

管理控制台开发框架：django

管理控制台数据库：mysql

管理控制台前端功能实现：

html+ajax+javascript+jquery

编码设计与实现

这里只展示部分关键代码，完整代码待整理脱敏后上传github开源

Docker容器及镜像管理模块

# -*- coding: utf-8 -*-
import docker
import config
import DBquery as dbq
import DBwrite as dbw
import os
import logging
logger = logging.getLogger("crosscloud") # 为loggers中定义的名称

#初始化DockerAPI客户端
def initClient(hostname):
    try:
        hostip = dbq.getHostip(hostname)
        cli = docker.DockerClient(base_url='tcp://%s:2375'%hostip)
        return  cli
    except Exception,e:
        logger.error(e)
        raise

#获取容器运行状态
def getContainerStatus(hostname,servername):
    try:
        cli = initClient(hostname)
        status = cli.containers.get(servername).status
        return status
    except Exception,e:
        logger.error(e)
        raise

#生成指定应用最新的镜像版本号
def getNewImageversion(servername):
    lastversion = dbq.getLastImageVersion(servername)
    fst = int(lastversion.split('.')[0])
    secd = int(lastversion.split('.')[1])
    thrd = int(lastversion.split('.')[2])
    thrd = thrd + 1
    if thrd >= 10:
        secd = secd + 1
        thrd = thrd % 10
    if secd >= 10:
        fst = fst + 1
        secd = secd % 10
    newversion = "%d.%d.%d" % (fst, secd, thrd)
    return newversion

#获取指定主机的镜像列表
def getImageList(hostname):
    try:
        cli = initClient(hostname)
        imagelist = []
        for image in cli.images.list():
            if image.tags != []:
                imagelist.append(image.tags[0])
        logger.info(hostname+"查询镜像结果:"+str(imagelist))
        return imagelist
    except Exception:
        raise

#获取指定主机上指定应用容器的镜像版本号
def getContainerVersion(hostname,servername):
    try:
        cli = initClient(hostname)
        c = cli.containers.get(servername)
        containerVersion = c.image.attrs['RepoTags'][-1].split(':')[-1]
        return containerVersion
    except Exception,e:
        logger.error(e)
        exit(1)

#登陆harbor镜像仓库
def registryLogin(cli):
    try:
        cli.login(
            username=config.REGISTRY_USERNAME,
            password=config.REGISTRY_PASSWD,
            registry=config.REGISTRY,
        )
    except Exception,e:
        print e
        logger.error("登录registry失败！"+str(e))
        exit(1)
    logger.info("登录registry成功！")


#拉取指定镜像在指定机器上实例化一个容器，并将其启动
def start_container(hostname,servername,version):
    cli = initClient(hostname)
    #登录私有仓库
    registryLogin(cli)
    image ='%s/qguanzi/%s:%s'%(config.REGISTRY,servername,version)
    #拉取指定镜像
    try:
        cli.images.pull(image)
    except Exception,e:
        logger.error(e)
        return False,str(e)
    try:
        c = cli.containers.get(servername)
        c.stop()
        c.remove()
    except Exception,e:
        logger.error("%s容器在%s不存在:\n%s"%(servername,hostname,e))
        return False,str(e)
    finally:
        logger.info("%s容器在%s开始启动..."%(servername,hostname))
        try:
            cli.containers.run(
                image=image,
                name=servername,
                volumes={
                    '/data/docker/logs/%s' % servername:
                        {
                            'bind': '/data/logs',
                            'mode': 'rw'
                        }
                },
                mem_limit='1g',
                network_mode='host',
                detach=True  # True表示运行容器后，就结束run方法
            )
        except Exception,e:
            logger.info("%s容器在%s启动失败:\n%s" % (servername, hostname,e))
            return False,str(e)
        logger.info("基于镜像%s创建的%s容器在%s启动完成！"%(image,servername,hostname))
        return True,"基于镜像%s创建的%s容器在%s启动完成！"%(image,servername,hostname)

#容器运行状态切换开关
def StatusSwitch(hostname,servername):
    try:
        container_status = str(getContainerStatus(hostname,servername))
        c  = initClient(hostname).containers.get(servername)
    except Exception,e:
        logger.error(e)
        return str(e)
    if container_status == 'running':
        c.stop()
        logger.info(hostname+"上的"+ servername +"容器已经停止！")
        return (hostname+"上的"+ servername +"容器已经停止！")
    else:
        c.start()
        logger.info(hostname+"上的"+ servername +"容器已经启动！")
        return (hostname+"上的"+ servername +"容器已经启动！")

#删除容器
def deleteContainer(hostname,servername):
    try:
        container_status = str(getContainerStatus(hostname, servername))
        c = initClient(hostname).containers.get(servername)
    except Exception,e:
        logger.error(e)
        return str(e)
    if container_status == 'running':
        c.stop()
        c.remove()
        logger.info(hostname + "上的" + servername + "容器已经删除！")
        return (hostname + "上的" + servername + "容器已经删除！")
    else:
        c.remove()
        logger.info(hostname + "上的" + servername + "容器已经删除！")
        return (hostname + "上的" + servername + "容器已经删除！")

#创建镜像
def createImage(hostname,servername,instruction,branch):
    try:
        cli = initClient(hostname)
        path = '/data/configcenter/%s/%s'%(hostname,servername)
        version = getNewImageversion(servername)
        image = '%s/qguanzi/%s:%s' % (config.REGISTRY, servername, version)
        repo_path = '%s/package/'%path
        repo_url = '%s/%s.git'%(config.REPO_URL,servername)
        buildWar(servername, repo_path, branch, repo_url)
        cli.images.build(path=path, tag=image)
    except Exception,e:
        logger.error("因为"+instruction+"，"+hostname + "上的" + image +"镜像创建失败："+str(e))
        return str("因为"+instruction+"，"+hostname + "上的" + image +"镜像创建失败："+str(e))
    dbw.SetNewImageversion(servername,version,instruction)
    logger.info("因为"+instruction+"，"+hostname + "上的" + image +"镜像已经创建！")
    return ("因为"+instruction+"，"+hostname + "上的" + image +"镜像已经创建！")

#拉取代码，编译生成war包
def buildWar(servername,repo_path, branch, repo_url):
    try:
        logger.info('开始从' + repo_url + "拉取" + branch + "代码分支")
        if not os.path.isdir(repo_path):
            os.makedirs(repo_path)
            print repo_path
        re = os.system('cd %s;git clone -b %s %s' % (repo_path, branch, repo_url))
        if re != 0:
            os.system('cd %s;git checkout %s;git pull %s' % (repo_path, branch, repo_url))
        logger.info("拉取新代码完成，开始maven打包.....")
        os.system(
            'cd /data/configcenter/%s/package/%s && /usr/local/maven/bin/mvn clean package -U -Dmaven.test.skip=true' % (
            servername, servername)
        )
    except Exception:
        raise

#上传镜像到harbor镜像仓库
def pushImage(hostname,image):
    imagefullname = image
    try:
        cli = initClient(hostname)
        version = image.split(':')[-1]
        image = image.split(':')[0]
        print image
        registryLogin(cli)
        cli.images.push(imagefullname, tag=version)
    except Exception,e:
        logger.error(imagefullname+"上传失败："+str(e))
        return str(e)
    return imagefullname+"上传成功！"

#删除指定机器上的指定镜像
def delImage(hostname,image):
    try:
        cli = initClient(hostname)
        cli.images.remove(image)
    except Exception,e:
        logger.error(str(e))
        raise

#新增部署节点，在数据库插入相应记录
def addNode(env,hostname,servername):
    try:
        dbw.addNode(env, hostname, servername)
    except Exception,e:
        logger.error("增加节点失败："+str(e))
        return str(e)
    return "增加节点成功！"

#删除部署节点，在数据库删除相应记录
def delNode(env,hostname,servername):
    try:
        dbw.delNode(env, hostname, servername)
    except Exception,e:
        logger.error("删除节点失败："+str(e))
        return str(e)
    return "删除节点成功！"

if __name__ == '__main__':
    # cli = initClient('132')
    # registryLogin(cli)
    hostname = '132'
    image = 'docker.example.com/example/webapi:0.1.1'
    print pushImage(hostname,image)
    # version = '0.1.1'
    # for info in cli.images.push('docker.example.com/example/webapi', tag='0.1.1',stream=True):
    #     print info

redis配置中心管理模块

# -*- coding: utf-8 -*-
import redis
import DBquery as dbq
import config
import logging
logger = logging.getLogger("crosscloud")

#初始化链接
def initConnection(env):
    host,port = dbq.getConfigCenterUrl(env)
    redisConn = redis.StrictRedis(host=host, port=port, db=0)
    return redisConn

#获取配置列表的键值对
def getConfiglist(env):
    redisConn = initConnection(env)
    configlist = redisConn.keys('%s*'%config.APPCONFIGKEY)
    confKV = {}
    for conf in configlist:
        confKV[conf] = redisConn.get(conf)
    return confKV

#新增／修改指定环境的指定配置项
def setConfigKV(env,config,value):
    try:
        redisConn = initConnection(env)
        redisConn.set(config,value)
    except Exception,e:
        logger.error(str(e))
        return str(e)
    logger.info("配置项："+config+"的值已经成功设置为："+value)
    return "配置项："+config+"的值已经成功设置为："+value

#删除指定环境的指定配置项
def delConfigKV(env,config):
    try:
        redisConn = initConnection(env)
        redisConn.delete(config)
    except Exception,e:
        logger.error(str(e))
        return str(e)
    logger.info("配置项："+config+"已经成功删除")
    return "配置项："+config+"已经成功删除"

#测试用例
if __name__ == '__main__':
    # print setConfigKV('132','king','cao')
    print delConfigKV('132','king')

配置模版渲染脚本

这里提供了redis和etcd做配置中心的两种渲染方式，因python的etcd库不太好用，和生产业务系统中已经部署了redis的原因，我最终采用redis做配置中心，来存储应用的键值对。只需将下列命令放在docker容器内的tomcat启动脚本里，就能使容器在启动时拉取最新的配置，和对配置模版的渲染生成最终的配置文件。关于里面的配置中心的configCenter地址，这里只需在docker容器宿主机上的host文件，或者容器里的host文件，或者容器使用的DNS里进行解析，根据具体网络环境设定即可。

#从配置中心拉取配置命令
#./confd  -onetime -backend etcd -node "http://configCenter1:2379" "http://configCenter:2379" "http://configCenter3:2379"
#./confd  -onetime -backend redis -node configCenter:6379

部分页面（不会写样式，求别吐槽）

整体页面

配置中心管理页

应用配置编辑页

应用配置模版编辑页

端口号设定对话框

后续优化设想

这个项目是在忙里偷闲，在白天做好日常工作的同时，利用周末和晚上加班时间完成的。因而项目细节难免粗陋，后续经过思考主要想在以下几块做改进：

1.前端交互上，由于本人前端知识不扎实，所以前端只是勉强能用而已。后期打算采用bootstrap和vue.js来改进前端页面和交互体验；

2.完善日志和异常捕获机制；

3.将流程前期的测试人员通过控制台触发git代码拉取和Maven编译打包，以及镜像编排的过程由脚本驱动。改为jenkeins的hook+脚本的方式进行；

4.后期的集群管理，考虑调研swarm和k8s，与当前docker-py的方式进行对比，做一定程度融合，实现最完善的集群管理；

5.新增对nginx反向代理和负载均衡配置的管理，以适应docker容器实例动态变化的需要；

6.完善对容器状态的监控，目前只监控里启动／停止状态，后期还可以监控容器内存／cpu／磁盘／网络等硬件资源使用情况，以及业务日志的异常情况捕获，引入时间序列的数据库存储监控数据，结合前端的highchart库做实时的监控看板；

7.结合第6点的监控状态情况，调用AliYun的API，和第5点实现的容器集群管理机制，达到自动弹性扩容／缩容的目标；

8.完善权限管理，做到一套平台可以给不同角色的工程师管理不同环境。

参考文档

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
基于docker打造实现自动化集成和无状态持续交付流水线

项目背景此项目是我在我第一家公司，一家做p2p的互金公司做的项目。当时我主要负责公司所有项目在预发布环境和生产环境部署。公司早期的技术骨干多来自BAT，所以有着很鲜明互联网公司的基因，采用的也是敏捷开发模式。所以是靠着持续迭代的方式，来不断优化改进产品的。并且是用dubbo这样的SOA架构，对后台应用做了比较细致地拆分，因此有大量独立部署的应用服务。这样一来，作为负责发布部署的运维人员，就需要...
复制链接

扫一扫