AirFlow
MaiXiaochai
用来归纳总结,方便检索,顺便分享。
展开
-
【Airflow】CeleryExecutor+RabbitMQ+HAProxy做好分布式后,启动调度出现的问题
如题,笔者按照上百篇(有点夸张,50多篇吧)文章,终于在踩过了无数坑后,搭建出了三worker节点的、CeleryExecutor+RabbitMQ+HAProxy的分布式Airflow集群(鬼知道我经历了什么)。然后,就在我准备举杯庆祝的时候——启动worker成功,启动webserver成功,启动scheduler后,总是报类似如下错误,Traceback (most recen...原创 2018-12-29 12:42:40 · 1013 阅读 · 5 评论 -
【Airflow】基本概念小结——DAG依赖关系
Airflow基本概念小结——DAG依赖关系 序号 概念 解释 1 A >> B B依赖于A,A先执行B后执行 2 A << B A依赖于B,B先执行A后执行 3 A.set_downstream(B) 等同于 A >> B 4 A.set_upstream(B) 等同于 B >...原创 2019-03-11 16:12:26 · 5891 阅读 · 2 评论