---- 文章中出现任何问题或描述不清楚的地方请不吝指出,大家共同交流,一起进步!----
(二) 各部分内容简介
接着我将围绕者文档目录结构,逐篇的对文档进行简要说明。
1. Home
主页对Airflow对功能及其特性做了概要性对描述
关于Airflow是什么,给出了明确对定义:
Airflow is a platform to programmatically author, schedule and monitor workflows.(Airflow是一个可以通过编程来编写,调度及监控工作流的一个平台)
使用编程方式编写工作流的主要优势在于:
When workflows are defined as code, they become more maintainable, versionable, testable, and collaborative. (将工作流定义为代码时,它们将变得更加可维护,可版本控制,可测试和协作。)
Airflow遵循的主要原则有:
-
Dynamic (动态)
Airflow是用python代码定义的,这样使得其可以动态的生成工作流。
-
Extensible (可扩展)
轻松定义自己的Opertor,执行程序并扩展库,使其适合于您的环境的抽象级别。
-
Elegant (优雅)
Airflow 的流水线是精简的。 其使用功能强大的Jinja模板引擎,将脚本参数化内置到Airflow的核心中。
-
Scalable (可伸缩)
Airflow具有模块化架构,并使用消息队列来安排任意数量的worker节点。 Airflow已准备好扩展到无限大的节点。
Airflow并不是用作实时计算的引擎,其功能与现有的Oozie/Azkaban/Lugi类似。Airflow中的DAG结构大多数是不变化或很少变化的。
2. Project
这部分讲来Airflow项目的由来,其进入Apache项目并成为Apache顶级项目的历程,然后列出了主要参与Airflow开发的Commiters,最后列出了Airflow的主要资源(文档,社区邮件,github issues, slack 频道及AIP)。
3. License
这部分是列出其所遵循的Apache开源协议,其中包括角色定义及相关所有的权益和要遵守的章程信息。
4. Quick Start
5. Installation
6. Upgrading to Airflow 2.0+
7. Upgrade Check Script
8. Tutorial
9. Tutorial on The Taskflow API
10. How-to Guides
11. UI / Screenshorts
12. Concepts
13. DAG Runs
14. Plugins
15. Security
16. Logging & Monitoring
17. Time Zones
18. Using the CLI
19. Integration
20. Kubernetes
21. Lineage
22. DAG Deserialization
23. Modules Management
24. Smart Sensor
25. Changelog
26. Best Practices
27. Production Deployment
28. Backport Providers
29. FAQ
30. Privacy Notice
31. Operators and hooks
32. CLI
33. Macros
34. Python API
35. Experimental API
36. Stable Rest API
37. Configurations
38. Extra Packages
更多关于Apache Airflow的文章,请查看 Apache Airflow系列文章。
若在实践中遇到什么问题的话,欢迎大家加入Apache Airflow 技术交流群进行讨论.
或者加入QQ群 704721809。