1.任务调度
2.任务调度框架
3.xxl部署
4.打开webei
5.时间计算工具
6.启动脚本
7.启动脚本
-
任务调度
1.shell
crontab -l 查看
crontab -e 编辑
***** echo data >> /root/dt.log (***** 每秒)
2.任务调度框架
1.dolphinschduler、xxl、airflow
airflow python =>任务调度
2.多任务之间依赖关系:DAG 有相无环图(a->b->c)
3.XXL官网:
文档地址:https://www.xuxueli.com/xxl-job/
架构:分布式框架 主从架构
1.老大:调度中心
2.小弟:执行器
3.xxl部署:
1.下载源码
2.导入idea 进行编译
1.初始化“调度数据库” xxl元数据库 =》mysql
1.将doc下db下tables_xxl_job.sql 复制到id里
2.编译源码:
1.调度中心
jar =》部署服务上
1.xxl-job-admin下main下resources下templates下application.properties
配置参数
server.port=1234
spring.datasource.url=jdbc:mysql://bigdata13:3306/xxl_job? Unicode=true&characterEncoding=UTF-8
spring.datasource.username=root
spring.datasource.password=123456
2.用maven将Profiles下xxl-job下Lifecycle打包
3.拷贝到 app的xxl里
补充:分布式部署:
每台机器都需创建日志文件夹
mkdir -p /data/applogs/xxl-job
chown -R hadoop:hadoop /data2.执行器 jar =》部署服务上 1.http://bigdata32:1234/xxl-job-admin下xxl-jpb-executor-sample-springbootx下 src下main下resources下templates下application.properties 配置参数 xxl.job.admin.addresses=http://bigdata13:1234/xxl-job-admin xxl-job executor address xxl.job.executor.appname=bigdata13 xxl.job.executor.ip=bigdata13 xxl.job.executor.port=9999 2. 用maven将Profiles下xxl-job下Lifecycle打包 3.拷贝到 app的xxl里
4.打开webei
http://bigdata13:1234/xxl-job-admin
5.时间计算
corntab工具
6.启动脚本(待编写)
8.DAG 有相无环图(a->b->c)
xxl可以启动DAG
在xxl创建下选择子任务id