airflow的安装和应用

ETL 差不多是数据处理的基础，要求非常稳定，容错率高，而且能够很好的监控，其全称是 Extract，Transform，Load， 一般情况下是将乱七八糟的数据进行预处理，然后放到储存空间上。
一般过程上，在数据进入后需要人工的去将数据的按流程处理一遍，调用各种工具。这个过程有些机械化，所以可以考虑使用脚本或者其它工具进行控制。

airflow 是能进行数据pipeline的管理，甚至是可以当做更高级的cron job 来使用。它是用python写的，能进行工作流的调度，提供更可靠的流程，而且它还有自带的UI。

这个东西也不知道是否好玩：

安装：pip install airflow[all]
注意：如果这个失败了，那就换成apache的
pip install apache-airflow 

 https://www.jianshu.com/p/979a26040a95