Airflow初探

简介

Airflow官网

Airflow今年年初成为了Apache的顶级项目，它是由Python编写的一个任务调度框架。

安装

看官网

[hadoop@hadoop004 airflow]$ export AIRFLOW_HOME=~/airflow

[hadoop@hadoop004 airflow]$ sudo pip3 install apache-airflow

通过上图，可以大致看到Airflow是使用了Flask框架来做Web后端服务，Airflow的版本为apache-airflow-1.10.3

[hadoop@hadoop004 airflow]$ sudo pip3 install apache-airflow[all]

解决方案

[hadoop@hadoop004 airflow]$ sudo yum install mysql-devel

再重新pip3 install

解决方案

[hadoop@hadoop004 airflow]$ sudo yum install python-devel

[hadoop@hadoop004 airflow]$ sudo yum install cyrus-sasl-devel

其中cassandra-driver在install的过程非常缓慢，需要耐心等等

好了，全都安装成功了

报错，网上找了很多办法都不管用，最后没有办法，只能重新编译Python3.7，但在重新编译之前一定要先安装sqlite-devel

[root@hadoop004 bin]# yum -y install sqlite-devel

如果报下面的错误

解决方案就是升级pip到最高版本就好了

启动

[hadoop@hadoop004 airflow]# airflow initdb

[hadoop@hadoop004 airflow]# airflow webserver -p 6666

报错

解决方案

[hadoop@hadoop004 ~]# vim ~/.bash_profile

export PYTHON_HOME=/usr/local/python3
export PATH=$PYTHON_HOME/bin:$PATH

[hadoop@hadoop004 ~]# source ~/.bash_profile

重新启动

成功！