谁在使用Apache Airflow及提供Apache Airflow服务的云厂商

这篇文章给大家介绍一下Apache Airflow的用户情况及提供Apache Airflow服务的云厂商。

1.已经登记的使用Apache Airflow的用户

我们从github的 https://github.com/apache/airflow/blob/master/INTHEWILD.md 页面可以看到，截止到2021-05-23号，已经有403家公司填写了相关信息，大多为国外的用户，如Adobe, Airbnb, Bloomberg, Dropbox, Gitlab, HBO, Lyft, Paypal, Tesla, Twitter, Yahoo!这些公司。

2.国内正在使用Apache Airflow的用户

在这个页面上几乎看不到国内的公司，是否说明其在国内的用户较少呢，其实并不是的，只是国内的用户参与到Apache Airflow开源项目，回馈社区部分较少罢了。

从网络信息中我们可以得到: 

阿里巴巴 / 腾讯音乐 / 小米 / Oppo / 有赞 / 蔚来汽车 / 快手 / 新浪微博 / Shopee / 盈立证券 等公司都在使用Apache Airflow. 说明Apache Airflow在国内的大厂中用的还是比较多的，但是其参与到Apache Airflow社区中较少，很难见到他们的身影。

3.提供Apache Airflow服务的云厂商

3.1 开箱即用的云服务

Astronomer

Astronomer是Apache Airflow背后的公司，类似于Databricks于Apache Spark。其主导了Apache Airflow的很多核心的功能的开发，如Mutliple Scheduler, New Web UI等，在Astronomer公司的领导下，Apache Airflow开源社区活力满满，已经在github上获得了 21.6k 的star, 比国内火爆的 Apache Flink 还要多。

Google Composer

Google也提供开箱即用的Apache Airflow，且贡献了特别多的基于GCP的operator，使得用户很容易的将Apache Airflow和Goolge其他的云服务结合起来使用，易用性及稳定性都很好。

Amazon Managed Workflow for Apache Airflow

Amazon提供了开箱即用的Airflow云服务，可以很方便的在AWS平台上使用Airflow.

Yandex Cloud

Yandex是俄罗斯的一家搜索引擎公司，类似于Google和国内的百度公司，它也提供了开箱即用的Airflow服务。

Aliyun E-Mapreduce Data Development Cluster

阿里云的E-Mapreduce也提供了Airflow的云服务，但是需要和E-Mapreduce平台绑定使用，并不是单独的Airflow服务。其提供的Airflow版本还是1.10.x版本,暂时没有升级到2.0版本。

阿里云的Airflow服务应该是章简锋大佬主导引进的，前一段时间在Slack中看到了他经常在问些问题。

4.总结

本篇文章简单的介绍了下Apache Airflow在国内外的使用情况及提供Apache Airflow云服务的厂商。

发现在国外Airflow已经被很多大厂使用了，已经成为了事实上的调度系统标准；而在国内来说，虽然也有很多大厂正在使用Airflow，但是大家回馈社区比较少，并没有汇聚起力量来。

从求职的角度来看，在Boss直聘等平台中搜索Airflow，也有越来越多的大数据岗位要求会使用Airflow，说明其在国内的应用也变得丰富起来。

从实际使用角度上出发，Apache Airflow上手有一定的学习成本，但是用户经过一两次培训之后就会很容易上手，之后再使用起来就变得很方便，比在页面进行拖拉拽来说更加的灵活，且能够连接的系统也更为丰富，是大数据及算法平台的不二选择。

 

更多关于Apache Airflow的文章，请查看 Apache Airflow系列文章。

遇到Apache Airflow相关的问题的话，欢迎加入Apache Airflow 技术交流群进行讨论。

或者加入QQ群 704721809。