python airflow_airflow的使用方法

最新推荐文章于 2024-06-17 19:59:56 发布
最新推荐文章于 2024-06-17 19:59:56 发布
阅读量1.2k 收藏
点赞数
文章标签： python airflow
Airflow是一款由Airbnb开发的任务管理系统，以DAG为基础，解决了传统crontab无法处理的任务依赖问题。相较于Apache Oozie和LinkedIn Azkaban，Airflow具有更灵活的DAG任务创建方式。本文介绍了Airflow的Web界面，包括DAGs、DAG运行详情、任务视图、数据可视化和任务交互等功能，以及如何配置和管理DAG任务。此外，还展示了如何通过PythonOperator和BashOperator定义任务。
摘要由CSDN通过智能技术生成

简介

airflow是airbnb家的基于DAG(有向无环图)的任务管理系统, 最简单的理解就是一个高级版的crontab。它解决了crontab无法解决的任务依赖问题。

类似产品比较

系统

介绍

Apache Oozie

使用XML配置, Oozie任务的资源文件都必须存放在HDFS上. 配置不方便同时也只能用于Hadoop.

Linkedin Azkaban

web界面尤其很赞, 使用java properties文件维护任务依赖关系, 任务资源文件需要打包成zip, 部署不是很方便.

airflow

具有自己的web任务管理界面，dag任务创建通过python代码，可以保证其灵活性和适应性

web界面使用介绍

DAGS

启动web任务管理需要执行airflow websever -D命令，默认端口是8080

http://10.191.76.31:8080/admin/

image.png

DAG

dag_id

Schedule

调度时间

Owner

dag拥有者

Recent Tasks

这里包含9个圆圈，每个圆圈代表task的执行状态和次数

圈1 success：现实成功的task数，基本上就是该tag包含多少个task，这里基本上就显示几。

圈2 running：正在运行的task数

圈3 failed：失败的task数

圈4 unstream_failed:

圈5 skipped:跳过的task数

圈6 up_for_retry:执行失败的task，重新执行的task数

圈7 queued：队列，等待执行的task数

圈8 ：

圈9 scheduled:刚开始调度dag时，这一次执行总共调度了dag下面多少个task数，并且随着task的执行成功，数值逐渐减少。

Last Run

dag最后执行的时间点

DAG Runs

这里显示dag的执行信息，包括3个圆圈，每个圆圈代表dag的执行状态和次数

圈1 success：总共执行成功的dag数，执行次数

圈2 runing：正在执行dag数

圈3 faild：执行失败的dag数

Links

link

说明

Trigger Dag

人为执行触发

Tree View

当dag执行的时候，可以点入，查看每个task的执行状态(基于树状视图),状态:success,running,failed,skipped,retry,queued,no status

Graph View

同上，基于图视图(有向无环图)，查看每个task的执行状态，状态:success,running,failed,skipped,retry,queued,no status

Tasks Duration

每个task的执行时间统计，可以选择最近多少次执行(number of runs)

Task Tries

每个task的重试次数

Landing Times

Gantt View

基于甘特图的视图，每个task的执行状态

Code View

查看任务执行代码

Logs

查看执行日

最低0.47元/天 解锁文章
weixin_39609166
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
AIRFLOW使用总结
peking1987的专栏
10-20 5666
由于机器学习各流程时长较长，并且流程比较复杂，经过选型对比，决定选用airflow作为流程调度器 一、选型对比 网上有较详细的各种流程调度器特性对比：https://www.jdon.com/workflow/Airflow-vs-Azkaban-vs-Conductor-vs-Oozie-vs-Amazon-Step-Functions.html 个人选择airlfow作为机器学习流程调...
python_operator_airflow
03-03
python_operator_airflow 运行文件setting_up.sh创建虚拟环境并安装python3 pip： $ sh setting_up.sh 安装气流并设置本地主机 $ pip install -r required.txt $气流initdb $ airflow网络服务器-p 8080 或运行文件env_airflow.sh来安装气流并设置localhost $ sh env_airflow.sh 创建文件夹dags并将在github上下载的script.py文件放入该文件夹 $ mkdir dags 通过命令行运行气流调度程序 $气流调度器 打开本地主机并测试
python工作流与业务流_Airflow：Python 工作流管理利器
weixin_39692847的博客
12-05 269
原标题：Airflow：Python 工作流管理利器本文来自作者 刘利强 投稿。原文：https://liuliqiang.info/post/airflow-the-workflow-in-python/Apache Airflow 是一个用于编排复杂计算工作流和数据处理流水线的开源工具。 如果您发现自己运行的是执行时间超长的 cron 脚本任务，或者是大数据的批处理任务，Airflow 可能是...
Airflow：工作流调度的原理与使用指南
最新发布
Aaron_945的博客
06-17 1481
Airflow 使用 Python 的 DAGs（Directed Acyclic Graphs，有向无环图）来定义工作流。DAGs 是一系列相互依赖的任务（tasks），它们按照特定的顺序执行。每个任务都可以是任何你想要执行的代码，例如 SQL 查询、Python 函数调用或 API 调用等。
python airflow_Airflow使用经验分享
weixin_39955732的博客
12-05 1649
一、Airflow简介Airflow是一个编排、调度和监控workflow的平台。Airflow的核心概念有五个：DAGs：即有向无环图(Directed Acyclic Graph)，将所有需要运行的tasks按照依赖关系组织起来，描述的是所有tasks执行的顺序。Operators：可以简单理解为一个class，描述了DAG中一个具体的task具体要做的事。其中，airflow内置了很多ope...
Airflow使用入门指南
热门推荐
悟道西方
11-07 6万+
Airflow能做什么Airflow是一个工作流分配管理系统，通过有向非循环图的方式管理任务流程，设置任务依赖关系和时间调度。Airflow独立于我们要运行的任务，只需要把任务的名字和运行方式提供给Airflow作为一个task就可以。安装和使用最简单安装在Linux终端运行如下命令 (需要已安装好python2.x和pip)：pip install airflow pip install "air
MYSQL授权
ynigeng的专栏
04-30 463
mysql> GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,DROP    ->     ON bankaccount.*    ->     TO custom@localhost    ->     IDENTIFIED BY password;mysql> GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,DRO
Python库 | apache_airflow_client-2.0.0rc3-py3-none-any.whl
05-02
资源分类：Python库 所属语言：Python 资源全名：apache_airflow_client-2.0.0rc3-py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Python库 | airflow_code_editor-5.1.0-py3-none-any.whl
05-02
资源分类：Python库 所属语言：Python 资源全名：airflow_code_editor-5.1.0-py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
airflow_multi_dagrun:多次触发DAG运行
05-08
多人跑 该插件包含用于多次触发DAG运行的...from airflow_multi_dagrun . operators import TriggerMultiDagRunOperator def generate_dag_run (): for i in range ( 100 ): yield { 'index' : i } default_args = {
airflow指南
10-23
airflow简介，入门到使用全部案例，欢迎查阅谢谢。 。
Apache Airflow (十二) ：PythonOperator
qq_32020645的博客
11-21 644
PythonOperator可以调用Python函数，由于Python基本可以调用任何类型的任务，如果实在找不到合适的Operator，将任务转为Python函数，使用PythonOperator即可。🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
python etl 大猩猩_Airflow教程-使用Airflow实现ETL调度
weixin_31702225的博客
12-24 529
一、Airflow是什么airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。airflow 将workflow编排为由tasks组成的DAGs(有向无环图)，调度器在一组workers上按照指定的依赖关系执行tasks。同时，airflow 提供了丰富的命令行工具和简单易用的用户界面以便用户查看和操作，...
介绍一个Python的有向无环图任务编排库：Airflow
明飞的博客
12-06 703
创建类来表示任务节点和有向边，每个任务节点可能包含任务的具体逻辑、依赖关系、输入输出等信息。创建任务节点，添加到DAG中，并定义任务之间的依赖关系。# DAG结构:# A# / \# B CApache Airflow是一个开源的、分布式的任务调度和工作流编排平台，旨在简化和规范数据处理任务的管理。其核心概念是DAG（有向无环图），这是一种表示任务之间依赖关系的方式。
python airflow_airflow 简明指南
weixin_39889544的博客
12-05 773
最近被线上任务折磨得不行了，总是隔三差五出各种问题，导致日志丢了或者脚本没跑成功，出了问题就需要手动去修复，比如手动把少的日志补齐，重跑失败的脚本。有些脚本之间有依赖关系，手动跑起来就比较复杂，需要隔一会看一眼脚本有没有跑完，再接着跑下一个，严重影响效率。所以我想如果有个程序能帮我定义好我的任务依赖关系，由它来自动解决运行时的依赖，如果能有可视化界面看到执行状态，管理任务就更好了。最近找到一个满足...
python airflow_airflow探索篇
weixin_39637921的博客
12-05 591
airflow是一个 Airbnb 的 Workflow 开源项目，在Github 上已经有超过两千星。data pipeline调度和监控工作流的平台，用于用来创建、监控和调整data pipeline。类似的产品有：Azkaban、ooziepip方式安装默认已经安装python >= 2.7 以及 pip安装可以参考这篇，比较详细。airflow安装以及celery方式启动重要说明使用...
Airflow PythonOperator、BashOperator以及Xcom使用
野狼e族 的博客
09-29 7594
需求：外界传入参数，PythonOperator 根据参数查询数据库得出结果， BashOperator 根据pythonOperator查询的结果当作参数去打包下载HDFS 的 文件。 分析： （1）provide_context=True ： 外界传参数，需要使用PythonOperator 的provide_context=True 来获取外界参数。provide_context 默认...
airflow安装部署(python)
大数据创新开发者、大数据技术开发、创新性大数据分享
05-24 3902
在线安装Airflow 组件版本: Python 3.7.2 Apache airflow 1.10.1 Mysql 5.7.24 CentOs7.8 Python安装 Centos7中，Python默认是安装的，输入python 直接可以查看版本号，入下图 注意: 如果本机安装了python2，尽量不要管它，使用python3运行python脚本就好，因为可能有程序依赖目前的python2环境， 比如yum！不要动现有的python2环境！ 安装python3依赖 命令： .
PythonOperator Airflow 使用教程
06-01
PythonOperator 是 Airflow 中常用的一个 Operator，用于执行 Python 脚本。以下是 PythonOperator 的使用教程： 1. 导入 PythonOperator ``` from airflow.operators.python_operator import PythonOperator ``` 2. 定义 Python 函数 ``` def my_python_function(): # your python code here ``` 3. 创建 PythonOperator 实例 ``` my_operator = PythonOperator( task_id='my_task', python_callable=my_python_function, dag=my_dag, ) ``` 4. 参数说明 - `task_id`: 任务的 ID，必须唯一。 - `python_callable`: 要执行的 Python 函数。 - `dag`: 任务所属的 DAG。 5. 添加任务依赖 ``` my_other_task >> my_operator ``` 6. 完整示例 ``` from datetime import datetime, timedelta from airflow import DAG from airflow.operators.python_operator import PythonOperator default_args = { 'owner': 'airflow', 'start_date': datetime(2021, 1, 1), 'retries': 1, 'retry_delay': timedelta(minutes=5), } dag = DAG( 'my_dag', default_args=default_args, schedule_interval=timedelta(days=1), ) def my_python_function(): # your python code here my_operator = PythonOperator( task_id='my_task', python_callable=my_python_function, dag=dag, ) my_other_task >> my_operator ``` 希望这个 PythonOperator 的使用教程能够帮助到您！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值