执行日期是Apache Airflow（用于编排复杂数据管道的开源平台）的关键概念。掌握执行日期的概念及其对工作流的影响对于构建高效、可靠和可维护的数据管道至关重要。在本实用指南中，我们将深入研究执行日期在气流中的作用，它们的目的，以及如何在您的工作流中处理它们，并提供示例和解释。
执行日期
执行日期定义
执行日期代表了任务实例（Task Instance）逻辑上应该执行的时间点，并不是任务实际开始或结束的时间。它主要用于数据处理的时间边界界定、任务依赖关系的确定以及数据分区等场景，为工作流中的任务提供了一个统一的时间参考基准。
与调度间隔的关系
Airflow 根据调度间隔（Schedule Interval）来确定执行日期序列。调度间隔定义了 DAG（有向无环图）运行的频率，比如每天、每小时等。例如，一个 DAG 的调度间隔设置为@daily，表示每天运行一次。如果以 2024 年 1 月 1 日为起始日期，那么执行日期序列就是 2024-01-01、2024-01-02、2024-01-03 等，每个执行日期对应一次 DAG 的运行实例。
在任务中的作用
- 数据分区：在处理大规模数据时，常根据执行日期对数据进行分区。比如，有一个每天处理用户订单数据的任务，可按照执行日期将数据存储在不同的分区中，如
/data/orders/year=2024/month=01/day=01对应执行日期为 2024-01-01 的任务数据。 - 任务依赖：任务之间的依赖关系可以基于执行日期来确定。例如，任务 B 依赖于任务 A 在同一执行日期的数据处理结果，只有当任务 A 在 2024-01-01 这个执行日期完成后，任务 B 才会在相同执行日期开始执行。
理解执行日期
执行日期是一个时间戳，表示DAG运行的逻辑开始时间。它用于：
- 定义DAG内的任务处理数据的时间段或间隔。
- 控制DAG运行的执行顺序。
- 作为内置Airflow变量{{ds}}、{{prev_ds}}、{{next_ds}}的基础。
{{ds}}：代表当前任务实例的执行日期，格式通常为YYYY-MM-DD。它是根据 DAG 的调度间隔和启动时间来确定的。比如一个 DAG 的调度间隔为@daily，从 2024 年 1 月 1 日开始启动，那么在 2024 年 1 月 2 日执行的任务实例中，{{ds}}的值就是2024-01-02。
{{prev_ds}}：表示当前执行日期的前一个日期。在上述例子中，2024 年 1 月 2 日执行的任务实例中，{{prev_ds}}的值为2024-01-01。它常用于需要依赖上一个执行日期数据或任务结果的场景。
{{next_ds}}：表示当前执行日期的下一个日期。在 2024 年 1 月 2 日执行的任务实例中，{{next_ds}}的值为2024-01-03。虽然在实际的任务执行中，下一个执行日期的任务会在未来时间点执行，但{{next_ds}}可以用于提前规划或设置一些与未来执行日期相关的参数。
必须注意的是，执行日期不是DAG运行的实际开始时间。实际的开始时间由调度器决定，可能晚于执行日期，具体取决于资源的可用性和DAG的计划。
在流程中处理执行日期
在工作流中，Airflow提供了几种处理执行日期的方法：
- 内置变量：可以在任务参数、模板或Jinja表达式中使用内置变量{{ds}}、{{prev_ds}}和{{next_ds}}来引用执行日期和周围日期。
from airflow import DAG
from airflow.operators.dummy import DummyOperator
dag = DAG(
dag_id='example_dag',
start_date=datetime(2025, 1, 1),
schedule_interval='@daily'
)
task = DummyOperator(
task_id='example_task',
dag=dag,
execution_timeout='{{ prev_ds }}' )
在本例中，DummyOperator的execution_timeout参数将被设置为上一个执行日期，从而允许任务根据执行日期调整超时时间。
- 任务上下文：使用execution_date键通过任务上下文访问执行日期，这在使用PythonOperator任务或自定义操作符时很有用。
from datetime import datetime
from airflow import DAG
from airflow.operators.python import PythonOperator
def print_execution_date(**context):
execution_date = context['execution_date']
print(f'The execution date is: {execution_date}')
dag = DAG(
dag_id='example_dag_with_context',
start_date=datetime(2025, 1, 1),
schedule_interval='@daily'
)
task = PythonOperator(
task_id='example_task_with_context',
dag=dag,
python_callable=print_execution_date,
provide_context=True
)
在本例中，Python函数print_execution_date接收任务上下文并打印执行日期。
- 执行日期算术：使用pendulum 库或Python内置的datetime模块来执行日期算术，例如计算时间范围的结束日期或确定两个日期之间的时间差。
import pendulum
from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.python import PythonOperator
def print_date_range(**context):
execution_date = context['execution_date']
start_date = execution_date
end_date = execution_date + timedelta(days=1)
print(f'Date range: {start_date} - {end_date}')
dag = DAG(
dag_id='example_dag_with_date_arithmetic',
start_date=datetime(2025, 1, 1),
schedule_interval='@daily'
)
task = PythonOperator(
task_id='example_task_with_date_arithmetic',
dag=dag,
python_callable=print_date_range,
provide_context=True
)
在本例中，Python函数print_date_range使用timedelta类根据执行日期计算时间范围的结束日期，并打印日期范围。
完整ETL示例
假设我们有一个简单的 ETL 工作流，用于从数据库中提取销售数据，进行转换后加载到数据仓库中，调度间隔为@daily。
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime, timedelta
# 定义默认参数
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': datetime(2025, 1, 1),
'retries': 1,
'retry_delay': timedelta(minutes=5),
}
# 创建DAG实例
dag = DAG(
'sales_etl_dag',
default_args=default_args,
schedule_interval='@daily'
)
# 定义提取数据的任务
def extract_data(execution_date):
# 这里的execution_date就是当前任务的执行日期
print(f"Extracting sales data for {execution_date}")
# 实际代码中，这里会连接数据库并提取对应执行日期的数据
# 定义转换数据的任务
def transform_data(execution_date):
print(f"Transforming sales data for {execution_date}")
# 实际代码中，这里会对提取的数据进行转换处理
# 定义加载数据的任务
def load_data(execution_date):
print(f"Loading sales data for {execution_date} to data warehouse")
# 实际代码中，这里会将转换后的数据加载到数据仓库
# 创建提取数据的任务实例
extract_task = PythonOperator(
task_id='extract_task',
python_callable=extract_data,
op_kwargs={'execution_date': '{{ execution_date }}'},
dag=dag
)
# 创建转换数据的任务实例
transform_task = PythonOperator(
task_id='transform_task',
python_callable=transform_data,
op_kwargs={'execution_date': '{{ execution_date }}'},
dag=dag
)
# 创建加载数据的任务实例
load_task = PythonOperator(
task_id='load_task',
python_callable=load_data,
op_kwargs={'execution_date': '{{ execution_date }}'},
dag=dag
)
# 设置任务依赖关系
extract_task >> transform_task >> load_task
在这个示例中，extract_data、transform_data和load_data函数都接收execution_date参数，用于确定处理数据的时间范围。在 Airflow 的 Web 界面或日志中，可以看到每个执行日期对应的任务实例的执行情况，比如在执行日期为 2025-01-02 时，任务会处理 2025-01-02 的销售数据。
管理执行日期的最佳实践
为确保在工作流程中有效和可维护地处理执行日期，请考虑以下最佳实践：
a.基于时间的操作始终使用执行日期：在处理基于时间的任务或数据处理时，依赖于执行日期，因为它为正在处理的时间段提供了一致和准确的参考。
在本例中，Python函数print_date_range使用timedelta类根据执行日期计算时间范围的结束日期，并打印日期范围。
管理执行日期的最佳实践
为确保在工作流程中有效且可维护地处理执行日期，请考虑以下最佳实践：
- 基于时间的操作始终使用执行日期：在处理基于时间的任务或数据处理时，依赖于执行日期，因为它为正在处理的时间段提供了一致和准确的参考。
- 避免使用系统时间：避免在任务中使用系统时间（例如datetime.now()），因为它可能导致数据管道中的不一致和难以调试的问题。
- 注意时区：在处理执行日期时，始终考虑处理数据所在的时区。如有必要，使用pendulum库或Python的datetime模块将执行日期转换为适当的时区。
import pendulum
from datetime import datetime
from airflow import DAG
from airflow.operators.python import PythonOperator
def print_local_execution_date(**context):
execution_date_utc = context['execution_date']
local_timezone = pendulum.timezone("America/New_York")
local_execution_date = execution_date_utc.in_timezone(local_timezone)
print(f'Local execution date: {local_execution_date}')
dag = DAG(
dag_id='example_dag_with_time_zone',
start_date=datetime(2023, 1, 1),
schedule_interval='@daily'
)
task = PythonOperator(
task_id='example_task_with_time_zone',
dag=dag,
python_callable=print_local_execution_date,
provide_context=True
)
在本例中，Python函数print_local_execution_date使用pendulum库将执行日期转换为“America/New_York”时区，并打印本地执行日期。
- 用不同的执行日期测试工作流：确保任务使用不同的执行日期都能正常工作，特别是在处理跨时间界限的任务时，比如月底或年底。
最后总结
执行日期在Apache Airflow中起着至关重要的作用，它为数据管道中正在处理的时间段提供一致和准确的参考。通过掌握工作流中执行日期的处理，你可以构建高效、可靠和可维护的数据管道，这些管道尊重基于时间的依赖关系，并适应不断变化的需求。不断探索Apache Airflow资源和社区支持的丰富生态系统，以提高你对这个强大的数据流程编排平台的技能和知识。
扫一扫
309
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
