python分布式任务调度_分布式任务调度平台的自动化部署

一、概述

1、自动化部署能简化开发过程的代码管理，让开发人员把更多的时间专注于业务实现，

简化繁琐的上线流程和操作步骤，做到项目的快速打包和部署，减少人为操作中的失误。

2、分布式任务调度平台，XXL-JOB：美团点评员工许雪里开发，

其核心设计目标是开发迅速、学习简单、轻量级、易扩展。

现已开放源代码并接入多家公司线上产品线，开箱即用。

源码地址：https://github.com/xuxueli/xxl-job

二、本文简介

主要是利用成熟的CI部署工具Jenkins，结合开源的分布式任务调度框架xxl-job作为demo工程，快速搭建自己的持续集成项目，其他项目可以类似构建。

三、Jenkins部署和配置

1、安装

1.1用特定版本的安装包安装

安装包下载页： https://pkg.jenkins.io/redhat-stable/

(注意：会有一些安装版本和jdk版本匹配的问题，一般CentOS 6.5 安装版本jenkins-2.7.4-1.1.noarch.rpm是OK的)

1.2、安装最新版本：

按照文档来就没问题： https://jenkins.io/doc/book/getting-started/installing/#unix-linux

1.3、启动和停止

sudo service jenkins start/stop/restart

sudo chkconfig jenkins on

2、全局配置

2.1 全局配置：点击系统管理，进入Global Tool Configuration

2.2 配置常用环境变量

注意的点：所有配置需要配置在全局环境变量里面，让系统所有用户都能访问到，比如说maven，不能配置在特定的用户目录下，否则后面jenkins用户就无法执行mvn命令，而报错。

jdk：

git:

maven:

3、 项目配置

3.1、新建一个项目

点击新建，新建一个自由风格的软件项目

3.2、项目源码配置(使用git管理):

首先需要安装插件：

系统管理-》管理插件，在可选插件里找到这个，让后直接安装就可以

3.3、配置远程SSH

在系统管理-》系统设置里，找到Publish over SSH

4、构建配置详细：

1、 General配置项目名称和简介

2、源码管理配置git项目地址

3、构建触发器配置远程构建脚本

4、构建环境配置项目构建前需要执行的一些脚本

5、构建，配置构建工具，比如maven打包，war包的上传，执行tomcat服务启动脚本

6、构建后操作发布，构建后的邮件发送等操作

4.1、简介和配置

4.2、 配置项目源码地址和访问密码

4.3、 配置Credentials

4.4、构建环境

4.5、构建 配置构建命令 (这里的maven是前面全局环境变量中配置好的)

添加构建后操作(需要前面安装好远程ssh插件才行)

4.6、配置构建后操作

其中:

Transfer SetSource files：表示要上传的本地的war包及路径，可到工作空间去看

Remove prefix:表示要上传时要去除的文件夹，即只上传war包

remote driectory:即表示执行时的路径，相当于把war包上传到这里了

exec commad:要执行的命令，这里可以重命名jar包，启动tomcat服务器

7、构建后操作：

8、回到配置主页，进行构建

9、进入构建控制台查看构建日志，如果有错误，可以直接查看到

四、xxl-job的介绍

项目地址:

https://github.com/xuxueli/xxl-job

概述：

XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。

现已开放源代码并接入多家公司线上产品线，开箱即用。

特性：

- 1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；

- 2、动态：支持动态修改任务状态、暂停/恢复任务，以及终止运行中任务，即时生效；

- 3、调度中心HA(中心式)：调度采用中心式设计，“调度中心”基于集群Quartz实现，可保证调度中心HA；

- 4、执行器HA(分布式)：任务分布式执行，任务"执行器"支持集群部署，可保证任务执行HA；

- 5、任务Failover：执行器集群部署时，任务路由策略选择"故障转移"情况下调度失败时将会平滑切换执行器进行Failover；

- 6、一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；

- 7、自定义任务参数：支持在线配置调度任务入参，即时生效；

- 8、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；

- 9、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；

- 10、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；

- 11、状态监控：支持实时监控任务进度；

- 12、Rolling执行日志：支持在线查看调度结果，并且支持以Rolling方式实时查看执行器输出的完整的执行日志；

- 13、GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。

- 14、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性；

- 15、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；

- 16、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;

- 17、任务注册: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；

- 18、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移；

- 19、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；

- 20、脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python等类型脚本;

- 21、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行(默认)、丢弃后续调度、覆盖之前调度；

- 22、失败处理策略；调度失败时的处理策略，策略包括：失败告警(默认)、失败重试；