一种使用 AWS 云原生服务部署高可用 APACHE AIRFLOW 集群的方案

背景介绍

很多机器学习、数据湖、自动驾驶项目都会用到 Apache Airflow ， Apache Airflow是一个以编程方式创作、安排和监控工作流的平台， 它将工作流创作为任务的有向无环图 ( DAG )， 调度程序遵循指定依赖项来执行任务， 丰富的用户界面使生产中运行的管道可视化、进度监控和问题定位变得容易。当工作流被定义为代码时，它们变得更加可维护、可版本化、可测试和协作。任何具有 Python 知识的人都可以部署工作流。Apache Airflow 不限制管道的范围， 您可以使用它来构建 ML 模型、传输数据、管理您的基础架构等等。

在 AWS 上，可以用托管服务 Amazon Managed Workflows for Apache Airflow (MWAA) 来很方便地创建一套 Apache Airflow 集群， 从而免去了重复繁重的集群搭建和维护等工作。但是目前并不是所有 AWS 区域都已经发布此托管服务，比如, 西云数据运营的 AWS （宁夏）区域和由光环新网运营的 AWS （北京）区域。在单机（例如， Amazon EC2  ）上面可以快速的搭建一套 Apache Airflow 系统， 但是此安装方式难以扩展， 可靠性不高， 安全保护缺失， 没有监控和告警， 运维和维护都很困难， 用于业务PoC 还行， 但是无法用于实际项目上。另外，在实际业务中， 还需要考虑如何实现用户登录和鉴权， 这通常会花费开发人员很大一部分精力。

对于无法使用 AWS MWAA 托管服务，或者想使用特定 Apache Airflow 版本， 或者想定制 Apache Airflow 登陆、部署方式的用户，本博客介绍的方案