ubuntu中airflow + CeleryExecutor 环境搭建

参考自：http://www.mamicode.com/info-detail-2349998.html

airflow整合环境搭建

1. 整体结构

mysql -> 后端数据库

redis -> 用于broker

CeleryExecutor -> 执行器

2. 环境安装
   2.1. 安装python anaconda环境

添加py用户
# useradd py
设置密码
# passwd py
创建anaconda安装路径
# mkdir /anaconda
赋权
# chown -R py:py /anaconda

上传anaconda安装包并用py用户运行安装程序
$ chmod +x Anaconda3-5.1.0-Linux-x86_64.sh
$ ./Anaconda3-5.1.0-Linux-x86_64.sh
Welcome to Anaconda3 5.1.0
In order to continue the installation process, please review the license
......
- Press ENTER to confirm the location
- Press CTRL-C to abort the installation
- Or specify a different location below
[/home/py/anaconda3] >>> /anaconda/anaconda3 输入自定义安装路径,如果用默认的话回车跳过
然后将anaconda加入环境变量，并使其生效

$ vi .bash_profile 
在最后一行加上如下配置:
export PATH=/anaconda/anaconda3/bin:$PATH
然后使其生效:
$source .bash_profile

检测一下安装结果,出现以下结果说明安装成功:
$ python -V
Python 3.6.4 :: Anaconda, Inc.

配置pipy源:
$ mkdir ~/.pip
$ touch ~/.pip/pip.conf
$ echo ‘[global]‘ >> ~/.pip/pip.conf
$ echo ‘trusted-host=pypi.douban.com/simple‘ >> ~/.pip/pip.conf
$ echo ‘index-url=http://pypi.douban.com/simple‘ >> ~/.pip/pip.conf