Apache Airflow 2.5.1 最新（celery集群方式）安装

Apache Airflow（2.5.1）最新版

1 概述

Airflow是一个以编程方式编写，安排和监视工作流的平台。

使用Airflow将工作流编写任务的有向无环图（DAG）。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。丰富的用户界面使查看生产中正在运行的管道，监视进度以及需要时对问题进行故障排除变的容易。

2.官网

​ https://airflow.apache.org

3.安装

3.1 准备环境

rabbitMq

此处是airflow 集群版部署 故需要mq作为celery,需要提前进行安装rabbitmq,且保持可用,集群状态健康
查看命令
rabbitmqctl cluster_status

miniconda环境

conda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同Python版本的软件包及其依赖，并能够在不同的Python环境之间切换，Anaconda包括Conda、Python以及一大堆安装好的工具包，比如：numpy、pandas等，Miniconda包括Conda、Python。

此处，我们不需要如此多的工具包，故选择MiniConda

miniconda 下载地址：https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

3.1.1设置MiniConda环境的镜像源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --set show_channel_urls yes

py3.8+

3.1.2 建python3.8环境并指定环境名

conda create --name airflow python=3.8

3.1.3 激活py环境

conda activate airflow

3.1.4下载airflow 2.5.1 版本

#-i 指定下载源 所有节点
pip install apache-airflow==2.5.1 -i https://pypi.tuna.tsinghua.edu.cn/simple