- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Airflow：Python 工作流管理利器
Apache Airflow 是一个用于编排复杂计算工作流和数据处理流水线的开源工具。 如果您发现自己运行的是执行时间超长的 cron 脚本任务，或者是大数据的批处理任务，Airflow 可能是能帮助您解决目前困境的神器。本文将为那些想要寻找新的工具或者说不知道有这款工具的同学了解 Airflow 编写工作线提供入门教程。Airflow 工作流设计称为有向非循环图（DAG）。这意味着，在...
2019-04-08 16:20:48
1354
转载 【airflow实战系列】 基于 python 的调度和监控工作流的平台
简介airflow 是一个使用python语言编写的data pipeline调度和监控工作流的平台。Airflow被Airbnb内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用Python来编写的平台上运行。Airflow是一种允许工作流开发人员轻松创建、维护和周期性地调度运行工作流（即有向无环图或成为DAGs）的工具。在Airbnb中，这些工作流包括了如数据存储、增长分析、...
2019-04-08 15:37:29
747
转载 定时任务cron表达式详解
cron表达式 顺序 秒 分钟 小时 日期 月份 星期 年(可选) 取值 0-59 0-59 0-23 1-30(31) ...
2019-04-08 14:30:30
556
转载 airflow 定时任务+时间设定+cron表达式
from airflow import DAGfrom airflow.operators.bash_operator import BashOperatorfrom datetime import datetime, timedelta'''任务参数配置'''default_args = { "owner": "airflow", # 用户名的任务的所有者 "de...
2019-04-08 14:05:14
7704
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人