Airflow

最新推荐文章于 2022-07-17 23:17:08 发布
最新推荐文章于 2022-07-17 23:17:08 发布
阅读量233 收藏
点赞数
分类专栏： 计算与存储引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34276652/article/details/108409695
版权

airflow 是一个使用python语言编写的data pipeline管理、调度和监控工作流的平台

DAG：

  • 多个task的集合，定义了这些task间的执行顺序和依赖关系。
  • 定义在python文件中，airflow会执行每一个文件，动态构建出DAG对象，每一个DAG对应一个workflow。在airflow动态构建过程中，发现DAG满足触发条件，则生产当前execution date的DAG运行实例(DAG RUN)

task和opeartor：

  • task是operator的一个实例，也是DAGs中的一个node
    • operator描述了task的类型，不同operator可以用来完成不同类型的task；一个operator定义一个task，每个operator独立执行，如：
      • HiveOperator：执行Hive SQL，通常是执行ETL，将数据运算提取后写入目标
      • HivePartitionSensor：检测Hive表中的某个分区是否存在
      • PythonOperator：执行Python脚本

quick刀斩乱麻
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
airflow测试用例一
sxf_123456的博客
04-24 1587
from airflow.models import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, timedelta #default_args = dict() default_args = { 'owner': 'airflow', 's...
airflow 入门示例
程序认生
02-03 1335
目录 导入模块 设置默认参数 实例化一个DAG 任务 Templating with Jinja 设置依赖关系 简要重述以上内容 测试 导入模块 # 导入所需的模块 # DAG用来实例化DAG对象，注意仅仅只是定义了一个对象，而不是进行真正的数据处理流程 from airflow import DAG from airflow.operators.bash_operator i...
airflow部署和使用示例
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
01-08 2002
参考:https://www.jianshu.com/p/089c56b4ec14
airflow dag调用实例
qq_29506407的博客
04-11 1429
# -*- coding:utf-8 -*- from datetime import timedelta from airflow import DAG from airflow.contrib.operators.ssh_operator import SSHOperator from airflow.utils.dates import days_ago default_args = { 'owner': 'admin', 'depends_on_past': False, .
大数据调度平台Airflow（六）：Airflow Operators及案例
lisheng19870305的专栏
07-17 3592
定义依赖的触发规则，包括选项如下{all_success|all_failed|all_done|one_success|one_failed|none_failed|none_failed_or_skipped|none_skipped|dummy(无条件执行)}defaultisall_success。在“bash_command”中写执行脚本时，一定要在脚本后跟上空格，有没有参数都要跟上空格，否则会找不到对应的脚本。...
airflow笔记资料
04-16
Apache Airflow是一款强大的工作流管理工具，用于编排、调度和监控复杂的业务逻辑。这款开源软件设计用于构建数据管道，支持大数据处理任务，且适用于各种跨系统和跨服务的工作流程。在Airflow笔记资料中，我们可以...
airflow-doc-zh:[译] Airflow 中文文档
05-14
——菲尔·卡尔顿负责人翻译进度Airflow 1.10.2 文档已翻译完成下载Dockerdocker pull apachecn0/airflow-doc-zhdocker run -tid -p <port>:80 apachecn0/airflow-doc-zh# 访问 http://localhost:{port} 查看文档...
airflow指南
10-23
airflow简介，入门到使用全部案例，欢迎查阅谢谢。 。
airflow调度问题排查
01-07
现在公司使用的airflow调度器很慢，每次clear一个task之后，这个task要过一段时间才会被调度器调度到，这个时间大约需要15-30s。 使用的airflow版本较老：v1.7.1.3 排查 参数问题 airflow.cfg这个文件里面有很多的...
airflow 2.2.1：HivePartitionSensor、自定义宏变量
qq1277419839的博客
12-31 2037
airflow 2.21：HivePartitionSensor HivePartitionSensor功能 用于检查hive表的分区是否存在，在某些场景下可以使用该sensor来替代ExternalTaskSensor，且使用起来更加便捷。 场景描述 在数仓中这么两种表： 表1 ：daily_table，该表是按天分区的表，一天跑一次。 表2 ：hour_table，该表是按照小时分区，每个小时跑一次。 其中daily_table 依赖于 hour_table的执行，对于这种执行周期不同的任务，如果通过a
关于Airflow跨DAG依赖总结
weixin_40393421的博客
12-06 3722
关于Airflow跨DAG依赖总结 单个DAG中Task之间的依赖 这是最常见的Task之间的依赖，在DAG中有多种方式指定依赖关系 # 定义DAG dag = DAG( ... ) # 定义task_a task_a = BashOperator( ... ) # 定义task_b task_b = BashOperator( ... ) # 指定task依赖关系 task_a >> task_b task_a.set_downstream(task_b) # or # task_b
AirFlow 使用指南四 DAG Operator Task
SmartSi
08-03 9601
1. DAG在Airflow中，DAG或有向无环图是你运行所有任务的集合，以某种组织方式来反映所有任务之间的关系和依赖。例如，一个简单的DAG可以包括三个任务：A，B和C.可以说A必须在B运行之前成功运行，但C可以随时运行。 可以说任务A在5分钟后超时，为防止失败，B可以最多重启5次。也可以说工作流从某个特定日期开始每晚10点运行。以这种方式，DAG描述了你如何执行工作流程; 但是请注意，我们还没
Airflow ETL任务调度工具 介绍
Sajor的博客
07-12 4100
Airflow 是 Apache 基金会的一套用于创建、管理和监控工作流程的开源平台，是一套非常优秀的任务调度工具。截至2022年7月，在GitHub上已经拥有近27k的star。 本文主要介绍一下Airflow 2.3.2版本，各个功能模块，以及如何使用。只浅浅提了一下Airflow的功能点，具体内容还是链接到了官方文档。......
airflow依赖上游设置
盛源的博客
12-09 1045
1 周表依赖与天表 1 只依赖上周的最后一天 # 获取上周最后一天的日期 def getTrueWeek(ds): import datetime # 循环到本周末 while ds.weekday() != 6: ds += datetime.timedelta(days=1) # 格式化到上游的定时 return ds.replace(hour=23, minute=10, second=0) from airflow.sensors
airflow 文档学习(一) 基本Operator
bading8536的博客
12-03 2208
1. Operator和task 简单来说，Operator就是task的抽象类 2. BaseOperator 所有的功能性Operator的来源 2.1 参数： task_id (string) ：唯一标识task的id owner (string) retries (int)：任务重试此时 retry_delay (timedelta) ：重试间隔 start_date (...
Airflow Python工作流引擎的重要概念介绍
热门推荐
watermelonbig的专栏
09-10 4万+
1、Airflow简介 Airflow是一个以编程方式创作，安排和监控工作流程的平台。 当工作流被定义为代码时，它们变得更易于维护，可版本化，可测试和协作。 使用Airflow将工作流作为任务的有向非循环图（DAG）。 Airflow调度程序在遵循指定的依赖项的同时在一组worker上执行您的任务。 丰富的命令行实用程序可以轻松地在DAG上执行复杂的手术。 丰富的用户界面使您可以轻松地可视化...
AirFlow 使用指南三 第一个DAG示例
SmartSi
08-03 3万+
经过前两篇文章的简单介绍之后，我们安装了自己的AirFlow以及简单了解了DAG的定义文件．现在我们要实现自己的一个DAG． 1. 启动Web服务器 使用如下命令启用: airflow webserver 现在可以通过将浏览器导航到启动Airflow的主机上的8080端口来访问Airflow UI，例如：http://localhost:8080/admin/ 备注 Airfl...
AirFlow官方入门DAG示例
sinat_28371057的博客
10-23 4144
经过前两篇文章的简单介绍之后，我们安装了自己的AirFlow以及简单了解了DAG的定义文件．现在我们要实现自己的一个DAG． 1. 启动Web服务器 使用如下命令启用: airflow webserver 现在可以通过将浏览器导航到启动Airflow的主机上的8080端口来访问Airflow UI，例如：http://localhost:8080/admin/ 备注 Airflow附带了许多示例DAG。 请注意，在你自己的`dags_folder`中至少有一个DAG定义文件之前，这些示例
airflow 汉化
最新发布
01-22
Airflow汉化指的是将开源工作流编排工具Airflow的界面和相关文档进行翻译为中文。Airflow是一个由Apache基金会孵化的项目，它提供了一种可视化的方式来编排、调度和监控数据处理任务。 汉化Airflow有以下几个主要的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值