本文介绍了Airflow，一个由Airbnb开源的、使用Python编写的灵活可扩展的工作流管理平台。相较于Java的Oozie，Airflow提供工作流依赖关系的可视化、日志追踪和易于扩展的Python脚本。文章通过实战示例展示了如何使用Airflow进行数据管道任务的构建，包括初始化数据库、操作DAG和tasks，以及自定义Python3的Hive连接操作。
1. 引言
Airflow是Airbnb开源的一个用Python写就的工作流管理平台(workflow management platform)。在前一篇文章中，介绍了如何用Crontab管理数据流，但是缺点也是显而易见。针对于Crontab的缺点，灵活可扩展的Airflow具有以下特点：
- 工作流依赖关系的可视化；
- 日志追踪；
- (Python脚本)易于扩展
对比Java系的Oozie，Airflow奉行“Configuration as code”哲学，对于描述工作流、判断触发条件等全部采用Python，使得你编写工作流就像在写脚本一样；能debug工作流(test backfill命令)，更好地判别是否有错误；能更快捷地在线上做功能扩展。Airflow充分利用Python的灵巧轻便，相比之下Oozie则显得笨重厚拙太多(其实我没在黑Java～～)。《What makes Airflow great?》介绍了更多关于Airflow的优良特性；其他有关于安装、介绍的文档在
订阅专栏 解锁全文
962
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
