CDH6.3.2 安装 AIRFLOW1.10（亲测可用）

CDH6.3.2 安装 airflow1.10

一、环境

1、CENTOS7.6

2、REDIS

3、AIRFLOW PARCEL

二、支持的版本

• Airflow 1.9.0
• Airflow 1.10.3

三、支持的系统

1、CENTOS/RHEL 6 & 7

2、DEBIAN 8

3、UBUNTU 14.04, 16.04, & 18.04

四、安装CSD

1、下载JAR文件 ，AIRFLOW CSD文件

下载地址 Airflow csd

2、 将AIRFLOW-2.2.0.JAR、AIRFLOW-2.2.0.JAR.SHA 放到 指定目录 /OPT/CLOUDERA/CSD

 

cp -r AIRFLOW-2.2.0.jar、AIRFLOW-2.2.0.jar.sha /opt/cloudera/csd

3、重启 CLOUDERA-SCM-SERVER

service cloudera-scm-server restart

•  

五、CDH上 下载PARCEL （下载地址：AIRFLOW PARCEL）

1、进入 CLOUDERA MANAGER --> 主机 --> PARCEL

2、激活并分配AIRFLOW

3、添加服务

4、提前创建数据库

# 创建 cdh airflow 数据库

CREATE DATABASE airflow DEFAULT CHARACTER Set utf8 COLLATE utf8_unicode_ci;

# 授予权限 GRANT All ON airflow.* TO 'cdh6'@'%' IDENTIFIED BY 'airflow';

# 刷入 FLUSH PRIVILEGES;

# airflow 报错修改 # Global variable explicit_defaults_for_timestamp needs to be on (1) for mysql

show GLOBAL VARIABLES like '%TIMESTAMP';

SET GLOBAL explicit_defaults_for_timestamp =1;

 

• 目前还有三个work无法启动（已解决）

报错：

ImportError: Missing redis library (pip install redis)

• 添加软链接：redis依赖包指向airflow对应文件目录
• ln -s /usr/lib/python2.7/site-packages/redis /opt/cloudera/parcels/AIRFLOW-1.10.3-python2.7.15_b2/lib/python2.7/site-packages/
• ln -s /usr/lib/python2.7/site-packages/redis-3.5.3.dist-info/ /opt/cloudera/parcels/AIRFLOW-1.10.3-python2.7.15_b2/lib/python2.7/site-packages/
• 重启worker

开启celery 集群配置,自行安装或者选择已有Redis

部分参考并致谢作者：https://blog.csdn.net/weixin_39122545/article/details/108486246