Docker安装airflow（超详细）单机，集群部署教程

基于这个项目 ：git clone https://github.com/puckel/docker-airflow

上图的文件解压后如图：

### 更改配置文件vim airflow.cfg

### 文件移动

docker-airflow底下所有文件放进 /usr/local/airflow

docker的安装这里不再列出参考：https://www.runoob.com/docker/centos-docker-install.html

启动：docker-compose -f docker-compose-CeleryExecutor_not_work_big.yml up

创建python环境和导出包：

### python环境创建
* 选着web容器 docker ps | grep airflow_webserver
* 进入 docker exec -it -u root [容器id] /entrypoint.sh bash
* 导出安装包 pip freeze >> requirements.txt
* 查看Python版本 python -V
* 复制容器文件 docker container cp <容器id>:<容器文件路径>  <主机文件路径>


创建conda Python dev环境 
conda create -n airflow python=3.7.9
conda activate airflow
进入dev环境
安装包

安装python包：

pip install -r requirements.txt
yum install mysql-devel gcc gcc-devel python-devel
pip install psycopg2-binary
pip install mysqlclient==1.3.14

修改环境变量：

vi /etc/profile
export AIRFLOW_HOME=/usr/local/airflow/workerconfig
export C_FORCE_ROOT="true"
source /etc/profile
查看当前环境变量: env

启动worker：

查看worker占用的端口: lsof -i tcp:8793


启动命令 测试一下
airflow worker

执行成功