编写一个Dag作业Demo

假设我们有一个在线商店，需要对每天的订单数据进行分析，得出以下指标：

• 总销售额
• 总订单数
• 每种商品的销售额和销售数量排名
• 每个省份的销售额和销售数量排名

我们可以使用Airflow编写一个DAG作业，每天自动运行，将数据从数据源抽取并进行转换和计算，最后将结果存储到数据仓库中。以下是代码示例：

from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.python_operator import PythonOperator

# 定义DAG的默认参数
default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2021, 1, 1),
    'email': ['admin@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
}

# 定义DAG对象
dag = DAG(
    'online_store_analysis',
    default_args=default_args,
    description='Daily analysis of online store orders',
    schedule_interval=timedelta(days=1),
)

# 定义数据抽取任务
def extract_data():
    # 从数据源抽取数据，并保存到本地文件
    pass

extract_task = PythonOperator(
    task_id='extract_data',
    python_callable=extract_data,
    dag=dag,
)

# 定义数据转换和计算任务
def transform_data():
    # 读取本地文件，并进行数据转换和计算
    pass

transform_task = PythonOperator(
    task_id='transform_data',
    python_callable=transform_data,
    dag=dag,
)

# 定义数据存储任务
def load_data():
    # 将计算结果存储到数据仓库中
    pass

load_task = PythonOperator(
    task_id='load_data',
    python_callable=load_data,
    dag=dag,
)

# 定义任务之间的依赖关系
extract_task >> transform_task >> load_task

在上述代码中，我们定义了三个任务，分别是数据抽取、数据转换和计算、数据存储。数据抽取任务和数据存储任务是PythonOperator，它们的python_callable函数分别实现了从数据源抽取数据和将计算结果存储到数据仓库中的逻辑。数据转换和计算任务也是PythonOperator，其python_callable函数实现了对从数据源抽取的数据进行转换和计算的逻辑。最后，通过定义任务之间的依赖关系，确保任务按顺序执行。任务之间的依赖关系可以通过设置>>符号来实现。