centos7 安装airflow及配置celery+RabbitMQ和celery+redis

趁我未失忆之前，记录过去曾经的自己

---

前言

与所有其他解决方案相比，Airflow是一种功能超强的引擎，你不仅可以使用插件来支持各种作业，包括数据处理作业：Hive，Pig（尽管你也可以通过shell命令提交它们），以及通过文件/ db entry / s3来触发的一般流程管理，或者等待来自Web端点的预期输出，但它也提供了一个很好的UI，允许你通过代码/图形检查DAG（工作流依赖性），并监视作业的实时执行。相较之前安装Azkaban,Airflow更为广泛交互在hadoop的生态环境。

---

一、airflow完整安装流程

1.airflow 前置安装

1.进行pip的更新，否则很多安装会报错airflow 基础安装

[root@019 ~] pip install --upgrade pip
[root@019 ~] pip install --upgrade setuptools

2.安装开发库

[root@019 ~] yum install python-devel
[root@019 ~] yum install libevent-devel
[root@019 ~] yum install mysql-devel

3.安装mysql

[root@019 ~] yum -y install mariadb mariadb-server
启动并设置开机启动
[root@019 ~] systemctl start mariadb
[root@019 ~] systemctl enable mariadb

4.初始化配置mysql

注：可以设定允许root远程登录

[root@019 ~] mysql_secure_installation

5.環境變量設置

 export AIRFLOW_HOME=/path/to/airflow
 export SLUGIFY_USES_TEXT_UNIDECODE=yes

2.airflow 與airflow mysql安装

1.安装airflow

[root@019 ~] pip install apache-airflow

2.初始化airflow并启动

[root@019 ~] airflow db init
[root@019 ~] airflow webserver -p 8080

3.安装airflow-mysql

[root@019 ~] airflow db init
[root@019 ~] airflow webserver -p 8080

4.创建testairflow用户,创建airflow数据库并给出所有权限给testairflow用户

#進入mysql,创建数据库,建立用戶,将数据库airflow的所有权限授权testairflow用户，密码123456且该用户可在任何IP段登录操作
[root@019 ~] mysql
MariaDB [(none)]> create database airflow;
MariaDB [(none)]> create user 'testairflow'@'%' identified by '123123';
MariaDB [(none)]> GRANT all privi