concurrency是设置设置dag并行运行task的个数,但是
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': datetime(2020,9,13),#任务启动时间点,须小于实际执行的时间的下一个间隔
'email': ['airflow@example.com'],
'email_on_failure': False,
'email_on_retry': False,
'retries': 1,
'retry_delay': timedelta(minutes=5),
'concurrency': 15
}
dag = DAG(
'tutorial',
default_args=default_args,
description='A simple tutorial DAG',
schedule_interval=timedelta(days=1),
)
写在参数列表时无效的
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': datetime(2020,9,13),#任务启动时间点,须小于实际执行的时间的下一个间隔
'email': ['airflow@example.com'],
'email_on_failure': False,
'email_on_retry': False,
'retries': 1,
'retry_delay': timedelta(minutes=5),
}
dag = DAG(
'tutorial',
default_args=default_args,
concurrency: 15
description='A simple tutorial DAG',
schedule_interval=timedelta(days=1),
)
这样写才有效