AirFlow
文章平均质量分 74
Apache Airflow是一个提供基于DAG(有向无环图)来编排工作流的、可视化的分布式任务调度平台(也可单机),与Oozie、Azkaban等调度平台类似。
@SmartSi
Stay Hungry, Stay Foolish
展开
-
AirFlow 使用指南四 DAG Operator Task
1. DAG在Airflow中,DAG或有向无环图是你运行所有任务的集合,以某种组织方式来反映所有任务之间的关系和依赖。例如,一个简单的DAG可以包括三个任务:A,B和C.可以说A必须在B运行之前成功运行,但C可以随时运行。 可以说任务A在5分钟后超时,为防止失败,B可以最多重启5次。也可以说工作流从某个特定日期开始每晚10点运行。以这种方式,DAG描述了你如何执行工作流程; 但是请注意,我们还没原创 2017-08-03 20:02:28 · 9655 阅读 · 2 评论 -
AirFlow 使用指南三 第一个DAG示例
经过前两篇文章的简单介绍之后,我们安装了自己的AirFlow以及简单了解了DAG的定义文件.现在我们要实现自己的一个DAG.1. 启动Web服务器使用如下命令启用:airflow webserver现在可以通过将浏览器导航到启动Airflow的主机上的8080端口来访问Airflow UI,例如:http://localhost:8080/admin/备注Airfl...原创 2017-08-03 12:00:25 · 33547 阅读 · 12 评论 -
AirFlow 使用指南二 DAG定义文件
1. Example"""Code that goes along with the Airflow tutorial located at:https://github.com/airbnb/airflow/blob/master/airflow/example_dags/tutorial.py"""from airflow import DAGfrom airflow.operato原创 2017-08-03 11:57:13 · 14164 阅读 · 2 评论 -
AirFlow 实战:安装与启动
1. 安装通过pip安装:xiaosi@yoona:~$ pip install airflow如果速度比较慢,可以使用下面提供的源进行安装:xiaosi@yoona:~$ pip install -i https://pypi.tuna.tsinghua.edu.cn/simple airflow如果出现下面提示,表示你的airflow安装成功了:Successfully installed原创 2017-08-02 18:23:30 · 12671 阅读 · 7 评论