Docker-compose搭建xxl-job(并配置Python3环境xxl-job执行器)

已于 2023-03-29 11:45:40 修改
阅读量3k 收藏 10
点赞数 3
分类专栏： Docker系列 文章标签： docker java 容器
于 2023-03-23 16:09:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yqyn6/article/details/129731635
版权

Docker-compose搭建xxl-job:2.2.0

1.目录结构

.
└── docker_xxl_job
	├── docker-compose.yml
	├── Dockerfile  # Dockerfile文件	
	├── requirements.txt
	├── xxl-job-executor-sample-springboot-2.2.0.jar
	├── xxl-job_init_sql.sql
	├── py_data
    ├── tmp	
    └── conf
    	└── application.properties

2. docker-compose.yml

注意：a.文件内IP替换成自己本机IP; b.数据库连接、用户密码根据自己情况修改；

version: '3.5'
services:
  admin:
    image: xuxueli/xxl-job-admin:2.2.0
    restart: always
    hostname: admin
    container_name: xxl_job
    ports:
      - 28888:8080
    volumes:
      - "./tmp:/data/applogs"
      - "./py_data:/data/py_data"
    network_mode: "bridge"
    environment:
      PARAMS: '--spring.datasource.url=jdbc:mysql://IP:33106/xxl_job?Unicode=true&characterEncoding=UTF-8 --spring.datasource.username=root --spring.datasource.password=Abc123654'

  xxl-job-executor:
    build:
      context: ./
    restart: always
    ports:
      - 8089:8089
      - 9999:9999
    container_name: xxl-job-executor
    environment:
      PARAMS: "--xxl.job.admin.addresses=http://IP:28888/xxl-job-admin --server.port=8089 --xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler"
    image: kobedocker24/xxl-job-executor-sample-springboot:2.2.0
    volumes:
      - "./py_data:/data/py_data"
    depends_on:
      - admin
    network_mode: "bridge"

3. Dockerfile

# Get Linux
FROM centos:7

# Install Java
RUN yum update -y \
&& yum install java-1.8.0-openjdk -y \
&& yum clean all \
&& rm -rf /var/cache/yum

# Set JAVA_HOME environment var
ENV JAVA_HOME="/usr/lib/jvm/jre-openjdk"

# Install Python
RUN yum install python3 -y \
&& pip3 install --upgrade pip setuptools wheel \
&& yum clean all \
&& ln -s pip3 /usr/bin/pip \
&& ln -sf /usr/bin/python3 /usr/bin/python \
&& rm -rf /var/cache/yum

ADD requirements.txt /requirements.txt
RUN pip install -r /requirements.txt

ENV PARAMS=""

ENV TZ=PRC
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone

ADD xxl-job-executor-sample-springboot-*.jar /app.jar

ENTRYPOINT ["sh","-c","java -jar $JAVA_OPTS /app.jar $PARAMS"]

4. requirements.txt

注意：根据自己Python脚本需要添加python3第三方包；

requests
PyMySQL
pybase64
lxml
qbittorrent-api
bs4
python-telegram-bot

5. xxl-job-executor-sample-springboot-2.2.0.jar

注意：xxl-job-executor-sample-springboot-2.2.0.jar 为xxl-job的执行器jar包
可从github上拉取源码打包成jar
这里提供该文件csdn下载地址：https://download.csdn.net/download/yqyn6/87607908

6. xxl-job_init_sql.sql

a. 执行下列进行xxl_job数据库初始化

CREATE database if NOT EXISTS `xxl_job` default character set utf8mb4 collate utf8mb4_unicode_ci;
use `xxl_job`;

SET NAMES utf8mb4;

CREATE TABLE `xxl_job_info` (
  `id` int NOT NULL AUTO_INCREMENT,
  `job_group` int NOT NULL COMMENT '执行器主键ID',
  `job_cron` varchar(128) NOT NULL COMMENT '任务执行CRON',
  `job_desc` varchar(255) NOT NULL,
  `add_time` datetime DEFAULT NULL,
  `update_time` datetime DEFAULT NULL,
  `author` varchar(64) DEFAULT NULL COMMENT '作者',
  `alarm_email` varchar(255) DEFAULT NULL COMMENT '报警邮件',
  `executor_route_strategy` varchar(50) DEFAULT NULL COMMENT '执行器路由策略',
  `executor_handler` varchar(255) DEFAULT NULL COMMENT '执行器任务handler',
  `executor_param` varchar(512) DEFAULT NULL COMMENT '执行器任务参数',
  `executor_block_strategy` varchar(50) DEFAULT NULL COMMENT '阻塞处理策略',
  `executor_timeout` int NOT NULL DEFAULT '0' COMMENT '任务执行超时时间，单位秒',
  `executor_fail_retry_count` int NOT NULL DEFAULT '0' COMMENT '失败重试次数',
  `glue_type` varchar(50) NOT NULL COMMENT 'GLUE类型',
  `glue_source` mediumtext COMMENT 'GLUE源代码',
  `glue_remark` varchar(128) DEFAULT NULL COMMENT 'GLUE备注',
  `glue_updatetime` datetime DEFAULT NULL COMMENT 'GLUE更新时间',
  `child_jobid` varchar(255) DEFAULT NULL COMMENT '子任务ID，多个逗号分隔',
  `trigger_status` tinyint NOT NULL DEFAULT '0' COMMENT '调度状态：0-停止，1-运行',
  `trigger_last_time` bigint NOT NULL DEFAULT '0' COMMENT '上次调度时间',
  `trigger_next_time` bigint NOT NULL DEFAULT '0' COMMENT '下次调度时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_log` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `job_group` int(11) NOT NULL COMMENT '执行器主键ID',
  `job_id` int(11) NOT NULL COMMENT '任务，主键ID',
  `executor_address` varchar(255) DEFAULT NULL COMMENT '执行器地址，本次执行的地址',
  `executor_handler` varchar(255) DEFAULT NULL COMMENT '执行器任务handler',
  `executor_param` varchar(512) DEFAULT NULL COMMENT '执行器任务参数',
  `executor_sharding_param` varchar(20) DEFAULT NULL COMMENT '执行器任务分片参数，格式如 1/2',
  `executor_fail_retry_count` int(11) NOT NULL DEFAULT '0' COMMENT '失败重试次数',
  `trigger_time` datetime DEFAULT NULL COMMENT '调度-时间',
  `trigger_code` int(11) NOT NULL COMMENT '调度-结果',
  `trigger_msg` text COMMENT '调度-日志',
  `handle_time` datetime DEFAULT NULL COMMENT '执行-时间',
  `handle_code` int(11) NOT NULL COMMENT '执行-状态',
  `handle_msg` text COMMENT '执行-日志',
  `alarm_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '告警状态：0-默认、1-无需告警、2-告警成功、3-告警失败',
  PRIMARY KEY (`id`),
  KEY `I_trigger_time` (`trigger_time`),
  KEY `I_handle_code` (`handle_code`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_log_report` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `trigger_day` datetime DEFAULT NULL COMMENT '调度-时间',
  `running_count` int(11) NOT NULL DEFAULT '0' COMMENT '运行中-日志数量',
  `suc_count` int(11) NOT NULL DEFAULT '0' COMMENT '执行成功-日志数量',
  `fail_count` int(11) NOT NULL DEFAULT '0' COMMENT '执行失败-日志数量',
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `i_trigger_day` (`trigger_day`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_logglue` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `job_id` int(11) NOT NULL COMMENT '任务，主键ID',
  `glue_type` varchar(50) DEFAULT NULL COMMENT 'GLUE类型',
  `glue_source` mediumtext COMMENT 'GLUE源代码',
  `glue_remark` varchar(128) NOT NULL COMMENT 'GLUE备注',
  `add_time` datetime DEFAULT NULL,
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_registry` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `registry_group` varchar(50) NOT NULL,
  `registry_key` varchar(255) NOT NULL,
  `registry_value` varchar(255) NOT NULL,
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `i_g_k_v` (`registry_group`,`registry_key`,`registry_value`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_group` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `app_name` varchar(64) NOT NULL COMMENT '执行器AppName',
  `title` varchar(12) NOT NULL COMMENT '执行器名称',
  `address_type` tinyint(4) NOT NULL DEFAULT '0' COMMENT '执行器地址类型：0=自动注册、1=手动录入',
  `address_list` text COMMENT '执行器地址列表，多地址逗号分隔',
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `username` varchar(50) NOT NULL COMMENT '账号',
  `password` varchar(50) NOT NULL COMMENT '密码',
  `role` tinyint(4) NOT NULL COMMENT '角色：0-普通用户、1-管理员',
  `permission` varchar(255) DEFAULT NULL COMMENT '权限：执行器ID列表，多个逗号分割',
  PRIMARY KEY (`id`),
  UNIQUE KEY `i_username` (`username`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_lock` (
  `lock_name` varchar(50) NOT NULL COMMENT '锁名称',
  PRIMARY KEY (`lock_name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

INSERT INTO `xxl_job_group`(`id`, `app_name`, `title`, `address_type`, `address_list`, `update_time`) VALUES (1, 'xxl-job-executor-sample', '示例执行器', 0, NULL, '2018-11-03 22:21:31' );
INSERT INTO `xxl_job_info`(`id`, `job_group`, `job_desc`, `add_time`, `update_time`, `author`, `alarm_email`, `schedule_type`, `schedule_conf`, `misfire_strategy`, `executor_route_strategy`, `executor_handler`, `executor_param`, `executor_block_strategy`, `executor_timeout`, `executor_fail_retry_count`, `glue_type`, `glue_source`, `glue_remark`, `glue_updatetime`, `child_jobid`) VALUES (1, 1, '测试任务1', '2018-11-03 22:21:31', '2018-11-03 22:21:31', 'XXL', '', 'CRON', '0 0 0 * * ? *', 'DO_NOTHING', 'FIRST', 'demoJobHandler', '', 'SERIAL_EXECUTION', 0, 0, 'BEAN', '', 'GLUE代码初始化', '2018-11-03 22:21:31', '');
INSERT INTO `xxl_job_user`(`id`, `username`, `password`, `role`, `permission`) VALUES (1, 'admin', 'e10adc3949ba59abbe56e057f20f883e', 1, NULL);
INSERT INTO `xxl_job_lock` ( `lock_name`) VALUES ( 'schedule_lock');

7. 创建py_data、conf、tmp文件

8. 在conf文件夹下添加application.properties配置文件

### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://IP:28888/xxl-job-admin

### xxl-job, access token
xxl.job.accessToken=default_token

### xxl-job executor appname
xxl.job.executor.appname=xxl-job-executor-sample
### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null
xxl.job.executor.address=
### xxl-job executor server-info
xxl.job.executor.ip=
xxl.job.executor.port=9999
### xxl-job executor log-path
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job executor log-retention-days
xxl.job.executor.logretentiondays=30

8. 按照上述创建文件夹和文件如下图所示

在这里插入图片描述

9. 启动服务

# 进入docker_xxl_job目录下
cd /系统目录/docker_xxl_job
# 启动服务
docker compose up -d

备注:

a. http://localhost:28888/xxl-job-admin/ 输入 用户：admin 密码：123456 进入xxl-job管理 界面
在这里插入图片描述
b.新增GLUE(shell)脚本，保存
在这里插入图片描述
c.点击GLUE IDE
在这里插入图片描述
d.填写python3脚本所在容器内的绝对路径，按下图填写后，保存并关闭
在这里插入图片描述
e.在点击操作执行一次，然后查询日志，查看脚本执行情况
在这里插入图片描述
f. 点击e图中的操作，点击执行日志可看到python3脚本print输出的内容
在这里插入图片描述

yqyn
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python任务调度平台 界面_分布式任务调度平台XXL-JOB
weixin_39572764的博客
12-09 2290
以前带我的人说过，最好的学习就是看官方文档，个人也有4个T的学习视频，但是会发现讲的都是入门，有的也比较浅。官方文档比较官方，也比较权威，打开xxl-job的官网，写的贼详细，有些人喜欢收博客，不喜欢看官网，因此就直接复制过来了，过段时间会参考文档，自己来一遍。一、简介1.1 概述XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公...
docker-compose部署xxl-job方案.rar
05-20
docker-compose部署xxl-job方案
datax-web控制xxljob,通过python执行脚本
hksl0820的专栏
05-16 1242
## datax-web 使用 python3。### datax-web 创建任务。- 任务类型：python 任务。
XXL-JOB python
Suni1ShIne的博客
12-20 753
logger.warn("---------------->>>>>>>>>>>>>> 启用脚本 <<<<<<<<<<<<<<<----------------");// 输出Python脚本的执行结果。XxlJobHelper.handleSuccess("脚本 -->> 执行成功");// Python脚本路径。// Python解释器路径。//执行结束，返回给xxjob的数据。//执行结束，返回给xxjob的数据。
Python监控xxljob服务状态，异常信息发送到企业微信群
运维那点事
06-11 1095
XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。它支持通过Web页面对任务进行动态管理，包括任务的增删改查、任务执行日志查看等功能。然而，对于服务状态的监控和异常通知，XXL-JOB本身并未提供完整的解决方案，这就需要我们结合其他工具和技术来实现。
xxl-Job分布式任务调度 入门
m0_73859807的博客
05-10 1085
当前软件的架构已经开始向分布式架构转变，将单体结构拆分为若干服务，服务之间通过网络交互来完成业务处理。在分布式架构下，一个服务往往会部署多个实例来运行我们的业务，如果在这种分布式系统环境下运行任务调度，我们称之为分布式任务调度。将任务调度程序分布式构建，这样就可以具有分布式系统的特点，并且提高任务的调度处理能力：1、并行任务调度并行任务调度实现靠多线程，如果有大量任务需要调度，此时光靠多线程就会有瓶颈了，因为一台计算机CPU的处理能力是有限的。
xxl-job搭建、SpringBoot集成xxl-job
m0_52208135的博客
11-13 3067
xxl-job搭建、SpringBoot集成xxl-job
xxl-job的学习使用
Filwaod
10-19 3114
学习xxl-job的使用
漏洞复现----21、XXL-JOB executor 未授权访问漏洞
七天
07-23 2888
文章目录一、漏洞简介二、漏洞环境三、漏洞分析四、漏洞复现 一、漏洞简介 XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。XXL-JOB分为admin和executor两端，前者为后台管理页面，后者是任务执行的客户端。executor默认没有配置认证，未授权的攻击者可以通过RESTful API执行任意命令。 二、漏洞环境 docker-compose up -d 访问： http://ip:8080即可查看
任务调度--SpringTask // 分布式任务调度--Xxl-Job
Peng_zhj的博客
05-23 2893
分布式任务调度
podman-compose:使用podman运行docker-compose.yml的脚本
05-12
该项目旨在为docker-compose提供docker-compose替换，并且在某些情况下非常有用，因为： 可以无根运行仅取决于podman和Python3和 没有守护程序，没有设置。 开发人员可以使用它来使用单个熟悉的YAML文件运行单机...
docker-compose安装包
12-19
Docker-Compose运行目录下的所有文件（docker-compose.yml，extends文件或环境变量文件等）组成一个工程，若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务，每个服务中定义了容器运行的镜像、参数、...
docker-compose-linux-x86_64
09-21
Docker-Compose运行目录下的所有文件（docker-compose.yml，extends文件或环境变量文件等）组成一个工程，若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务，每个服务中定义了容器运行的镜像、参数、...
docker-compose 容器部署 mqtt
07-30
docker-compose 容器部署 mqtt 配置文件
175道Docker面试题（上）
weixin_62922268的博客
07-22 1664
Docker是一个容器化平台，以容器的形式将我们的应用程序及其所有依赖项打包在一起，以确保我们的应用程序在任何环境中无缝运行，可以理解为一个应用打包、分发、部署的工具。我们也可以把它理解为一个轻量的虚拟机，Docker只虚拟我们的软件需要的运行环境，多余的一点都不要，而普通虚拟机则是一个完整而庞大的系统，包含各种不管我们要不要的软件。
docker 篇
gdutlhh的专栏
07-25 497
简单描述下，有时候真的要熟练，否者上了生产真的不知所措。背景：有个项目上线了，依赖的项目没有上线，因此需要紧急发布，发现：打包环境有问题，第一、架构不一致，第二、环境隔离导出镜像包慢，第三、本地打包dockerfile不一致导致加载配置有问题。
使用hutool工具判断字符串是否全部是字母(包括大小写)，java判断字符串是否全部是字母(包括大小写)
最新发布
qq_43700885的博客
07-29 517
1.导入hutool的maven依赖。2.复制一下代码执行。
docker-compose 安装 xxl-job
08-25
要使用docker-compose安装xxl-job，可以按照以下步骤进行操作： 1. 首先，确保你已经安装了Docker和docker-compose。如果没有安装，请先安装它们。 2. 创建一个docker-compose.yml文件，并将下面的内容复制到文件中： ``` version: '3' services: xxl-job: image: xuxueli/xxl-job-admin:2.2.0 container_name: xxl-job environment: PARAMS: "--spring.datasource.url=jdbc:mysql://{数据库IP}:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai --spring.datasource.username=root --spring.datasource.password={数据库用户密码}" ports: - 8080:8080 volumes: - /data/docker/xxl-job/logs/:/data/applogs/xxl-job/ ``` 3. 将{数据库IP}替换为你的数据库服务器的IP地址，将{数据库用户密码}替换为你的数据库的用户名和密码。 4. 在终端中，进入docker-compose.yml文件所在的目录，然后运行以下命令启动容器： ``` docker-compose up -d ``` 5. 等待一段时间，直到容器启动完成。你可以使用以下命令检查容器的状态： ``` docker ps ``` 6. 如果容器成功启动，你可以通过访问http://localhost:8080来访问xxl-job的管理界面。 这样，你就可以使用docker-compose安装xxl-job了。<span class="em">1</span><span class="em">2</span> #### 引用[.reference_title] - *1* *2* [Docker compose 安装 xxl-job](https://blog.csdn.net/u011069013/article/details/108756572)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yqyn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值