任务管理工具--Airflow经验

Airflow是一款任务管理工具,管理、可视化相互依赖的任务(Bash任务),可把workflow当成DAG图。

今天尝试了一下apache airflow,之所以尝试,因为业务脚本过多,相互依赖复杂。可视化和可理解性很差。

之前希望使用Oozie或者Azkaban进行管理,今天发现了Airflow,后端使用的Flask。看起来比较轻量化,理解起来也简单。

 

===体验后,有以下体验:===

优点:安装和启动简单,python脚本提交DAG学习成本低,web UI很好

缺点:1 DAG管理功能缺失(不能删除或修改调度); 2 scheduler的执行缺乏文档。每次都会从start_time把所有任务重新执行一遍; 3 时间戳所在时区有问题; 

 

===官方QuickStart https://airflow.incubator.apache.org/start.html===

安装:

需设置环境变量:AIRFLOW_HOME=[path/to/airfllow_home]

pip install airflow

alias airflow="path/to/airflow.py"

airflow initdb

airflow webserver -p [port]

 

遇到问题和解法:

1

? 添加用户报错:sqlalchemy.exc.OperationalError: (sqlite3.OperationalError) no such table: users

! 添加环境变量AIRFLOW_HOME

? user.password = psw时 AttributeError("can't set attribute")

! pip install 'sqlalchemy<1.2'

 

转载于:https://www.cnblogs.com/jimtheman/p/8465754.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值