工作流调度
工作流调度
sf_www
这个作者很懒,什么都没留下…
展开
-
airflow2使用mysql运行多个scheduler关键配置
使用mysql8时,运行多个scheduler,需要在airflow.cfg设置use_row_level_locking=True另外在airfow的2.0.2版本及以前需要手动设置下mysql的事务隔离级别为READ-COMMITTED,因为默认的REPEATABLE-READ隔离级别会导致很多问题,比如dagrun被设置为成功了,但是里面的task却没执行,产生死锁等问题。详见:https://github.com/apache/airflow/issues/15559https://git原创 2021-09-29 14:55:56 · 629 阅读 · 1 评论 -
airflow报错mysql连接超时已断开问题解决
问题现象就是:使用mysql作为airflow的后台数据库存储。我们已经在airflow.cfg配置文件中设置了sql_alchemy_pool_recycle=1800,但是没有起作用,在mysql那边默认8小时以后,没有请求来的连接会在服务端被断开,但是airflow还是在使用就会导致报错:MySQLdb._exceptions.OperationalError: (4031, 'The client was disconnected by the server because of inact原创 2021-09-29 11:17:40 · 2924 阅读 · 1 评论 -
Airflow核心概念
Airflow核心概念 概念 描述 DAGs DAG即有向无环图,将所有需要运行的tasks按照依赖关系组织起来,描述的是所有tasks执行的顺序。 DAG Runs DAG Runs是DAG的一个物理实例,表示DAG的一次运行(状态),即是具有特定执行时间(execution_date)的 DAG。它包含了特定execution_date运行的所有任务实例。 Operat原创 2020-12-21 11:02:06 · 642 阅读 · 0 评论