简介
Airflow今年年初成为了Apache的顶级项目,它是由Python编写的一个任务调度框架。
安装
看官网
[hadoop@hadoop004 airflow]$ export AIRFLOW_HOME=~/airflow
[hadoop@hadoop004 airflow]$ sudo pip3 install apache-airflow
通过上图,可以大致看到Airflow是使用了Flask框架来做Web后端服务,Airflow的版本为apache-airflow-1.10.3
[hadoop@hadoop004 airflow]$ sudo pip3 install apache-airflow[all]
解决方案
[hadoop@hadoop004 airflow]$ sudo yum install mysql-devel
再重新pip3 install
解决方案
[hadoop@hadoop004 airflow]$ sudo yum install python-devel
[hadoop@hadoop004 airflow]$ sudo yum install cyrus-sasl-devel
其中cassandra-driver在install的过程非常缓慢,需要耐心等等
好了,全都安装成功了
报错,网上找了很多办法都不管用,最后没有办法,只能重新编译Python3.7,但在重新编译之前一定要先安装sqlite-devel
[root@hadoop004 bin]# yum -y install sqlite-devel
如果报下面的错误
解决方案就是升级pip到最高版本就好了
启动
[hadoop@hadoop004 airflow]# airflow initdb
[hadoop@hadoop004 airflow]# airflow webserver -p 6666
报错
解决方案
[hadoop@hadoop004 ~]# vim ~/.bash_profile
export PYTHON_HOME=/usr/local/python3
export PATH=$PYTHON_HOME/bin:$PATH
[hadoop@hadoop004 ~]# source ~/.bash_profile
重新启动
成功!