AirFlow
野狼e族
忙是一种好事
展开
-
Airflow安装
1、#指定airflow 的home 目录export AIRFLOW_HOME=~/airflow2、#使用pip 安装apache-airflowpip install apache-airflow3、#初始化元数据库airflow initdb4、#开启web server服务,并指定访问端口为8080airflow webserver -p 8080...原创 2019-01-01 15:32:47 · 679 阅读 · 0 评论 -
PythonOperator、BashOperator以及Xcom使用
需求:外界传入参数,PythonOperator 根据参数查询数据库得出结果, BashOperator 根据pythonOperator查询的结果当作参数去打包下载HDFS 的 文件。分析:(1)provide_context=True : 外界传参数,需要使用PythonOperator 的provide_context=True 来获取外界参数。 provide_context...原创 2019-01-01 15:37:23 · 2895 阅读 · 0 评论 -
Airflow PythonOperator、BashOperator以及Xcom使用
需求:外界传入参数,PythonOperator 根据参数查询数据库得出结果, BashOperator 根据pythonOperator查询的结果当作参数去打包下载HDFS 的 文件。分析:(1)provide_context=True : 外界传参数,需要使用PythonOperator 的provide_context=True 来获取外界参数。provide_context 默认...原创 2019-09-29 10:58:37 · 7625 阅读 · 0 评论 -
BashOperator实例
特别注意:bash_command 命令后需要添加一个 空格,否则会报错# -*- coding: utf-8 -*-from datetime import timedeltaimport airflowfrom airflow import DAGfrom airflow.operators.bash_operator import BashOperatordefault_a...原创 2019-09-29 10:59:32 · 959 阅读 · 0 评论 -
Airflow介绍
主要功能 使用Python代码动态生成DAG,可以做到更加灵活的配置和某种意义上的简单配置DAG。 丰富的Operator、Hook,支持非常多的第三方组件,能满足多种需求。 支持Apache Atlas,实现数据追踪。 具有方便的任务失败重试功能,及任务失败时自动发送报警邮件通知。 功能较为完善,支持命令行操作,以及REST请求触发DAG。 ...原创 2019-09-29 11:01:42 · 25750 阅读 · 0 评论