airflow入坑指南

1.安装

默认的安装目录是在~/airflow目录下，为了安装到制定目录需要配置环境变量

vi /root/.bashrc # vi  /etc/profile  没起作用
>> export AIRFLOW_HOME=/data/airflow #修改默认安装目录
source /root/.bashrc  # source /etc/profile #使配置生效
sudo pip install apache-airflow --ignore-installed #不忽略已有安装可能会因为现有的安装包而安装失败
airflow initdb # 初始化数据库, 运行这条命令才会在目录下生成配置文件airflow.cfg
vi airflow.cfg #修改配置
>> web_server_port = 8888 #endpoint_url = http://localhost:8888 #端口
nohup airflow webserver  >start.log &
mkdir /data/airflow/dag

>> sql_alchemy_conn = mysql://airflow:123456@*.*.36.*:3306/airflow
#在mysql服务器上创建airflow数据库并添加用户权限
CREATE USER 'airflow'@'%' IDENTIFIED BY '123456';
grant all privileges on airflow.* to 'airflow'@'%' identified by '123456';
flush privileges; 

airflow有几个后端可以选择，redis或者rabbitMQ，分布式任务管理的话选择更多，celery，dask,mesos等，
配置celery+redis为后端主要修改三个地方

executor = CeleryExecutor

broker_url = redis://:xxxxxxxx@172.*.*.176:6379/0

celery_result_backend = redis://:xxxxxxx@172.*.*.176:6379/0

然后airflow worker启动即可在flower页面（默认5555端口）看到新的机器加入

此外为了方便管理，可以将airflow与系统的任务管理器集成，systemd(redhat系列的)或者upstart（Ubuntu系列）的。

详见文档

2.简单程序编写运行

airflow的核心编程基础是dag和operators,dag描述了operators之间的关联关系，有一个管理dag的上下文环境，有几个基本的操作类，PythonOperator,BashOperator用得比较多，详见文档