Airflow学习笔记 --- 基本知识储备

最新推荐文章于 2024-08-15 09:21:14 发布

杨鑫newlfe

最新推荐文章于 2024-08-15 09:21:14 发布

阅读量8.4k

点赞数 2

分类专栏：大数据挖掘与大数据应用案例 Python

本文链接：https://blog.csdn.net/u012965373/article/details/72878491

版权

Python 同时被 2 个专栏收录

689 篇文章 1574 订阅 ¥9.90 ¥99.00

订阅专栏

大数据挖掘与大数据应用案例

536 篇文章 1683 订阅 ¥9.90 ¥99.00

订阅专栏

本文介绍了Apache Airflow的基础知识，包括DAG的概念、任务（Task）和执行器（Operator）。讲解了DAG的配置，如时间触发、依赖设置，并提到了常用的时间宏和Executor类型。此外，还概述了Airflow命令行工具的使用，如测试任务、执行DAG及管理任务状态。

摘要由CSDN通过智能技术生成

安装跳过，我的另一篇有专门的安装笔记

Airflow安装

安装过后开始看代码：

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime.datetime(2015, 6, 1),
    'email': ['morefreeze@gmail.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': datetime.timedelta(minutes=5),
    # 'end_date': datetime(2016, 1, 1),
}

了解本专栏