airflow系列教程（一）Airflow作业调度平台

最新推荐文章于 2024-06-17 19:59:56 发布

数据指北Ai

最新推荐文章于 2024-06-17 19:59:56 发布

阅读量1.4k

点赞数

本文链接：https://blog.csdn.net/shujuelin/article/details/114636764

版权

10 篇文章 67 订阅 ¥9.90 ¥99.00

订阅专栏

本文作为Airflow系列教程的第一部分，介绍了Airflow的基本概念，包括DAG和Task的定义，以及调度时间、调度方式。重点讲解了Airflow的Web界面，如DAG的运行状态控制、任务操作框和菜单栏界面，帮助读者理解Airflow的使用和管理。

摘要由CSDN通过智能技术生成

很幸运，能参加公司产品组的数据中台项目研发，在离线业务中，针对ETL任务的调度，以及拖拽脚本，使用的是Apache公司开源的调度平台Airflow进行封装。

前言

随着离线业务的逐渐发展，定时调度的场景千百万变，与此同时，各个场景的任务越来越多，任务与任务之间的依赖也各有不同。传统的crontab无法解决的任务依赖问题，因此选择Airflow调度系统已经成为当下的主流。

Airflow是Airbnb开源的一个用Python编写的调度工具。它是基于DAG(有向无环图)的任务管理系统，最简单的理解就是一个高级版的crontab。

系统	介绍
oozie	使用XML配置，oozie任务的资源文件都必须放在HDFS文件系统上，配置不方便，同时也只用于Hadoop。
azkaban	它使用java properties文件维护任务依赖关系，任务资源文件需要打包成zip，部署不是很方便。
airflow	具有自己的web任务管理界面，dag任务创建通过python代码，可以保证其灵活性和适应性。

了解本专栏

关注