airflow的xcom使用

1 具体使用样例

# 设定数据
def push_ids(**context):
    # 获取最新分区
    import os
    bash_command = 'hive -S -e "set hive.cli.print.header=flase; show partitions table_name;" | sort | tail -1'
    res=os.popen( bash_command )
    max_dt=res.read().replace('\n', '').replace('"', '').split('=')[1]
    # 设置xcom的参数
    context['ti'].xcom_push( key='max_dt', value=max_dt )
push_data = PythonOperator(
    task_id = 'push_data',
    python_callable = push_ids,
    provide_context=True,
    dag = main_dag
)

# 通过宏获取数据
{{ ti.xcom_pull(task_ids="push_data", key="max_dt") }} 

---