airflow
文章平均质量分 89
全脂主妇
这个作者很懒,什么都没留下…
展开
-
Apache Airflow调度中心发布任务步骤
本文主要介绍如何使用airflow发布和调度任务。airflow可以调度远程(SSH)机器上的bash脚本或发送http请求远程机器提供的任务接口,不仅如此airflow还有可视化的任务调度平台,可以方便直观的查看任务执行情况,并可以随意支配任务执行频次,指定任务间依赖关系等。下面就来具体介绍一下如何使用airflow来发布一个任务1.首先获取airflow平台(http://10.10....原创 2020-04-22 14:59:12 · 3674 阅读 · 0 评论 -
Apache Airflow搭建及使用指南
1.首先安装mysql5.6mysql 5.6安装2.开始安装python先安装依赖包:yum -y install zlib zlib-develyum -y install bzip2 bzip2-develyum -y install ncurses ncurses-develyum -y install readline readline-develyum -y ...原创 2020-03-10 00:38:03 · 3386 阅读 · 1 评论 -
Airflow的使用及注意事项
一.关于Airflowairflow 是一个使用python语言编写的data pipeline调度和监控工作流的平台。Airflow可以用来创建、监控和调整数据管道。任何工作流都可以在这个使用Python来编写的平台上运行。Airflow是一种允许工作流开发人员轻松创建、维护和周期性地调度运行工作流(即有向无环图或成为DAGs)的工具。因此一些任务的执行及任务调度均可通过Airflow...原创 2020-03-17 11:42:07 · 9394 阅读 · 0 评论