Airflow安装配置和使用

系列文章目录

文章目录

• 系列文章目录
• 前言
• 一、airflow是什么？
• 二、使用步骤
• 总结

前言

一、airflow是什么？

Airflow是一个由Airbnb开发的开源工作流平台，使用Python编写。它基于DAG（有向无环图）进行任务管理，可以方便地实现任务的调度、监控和管理。与crontab等传统任务管理工具相比，Airflow不仅解决了任务依赖问题，还能方便地查看任务的执行状况、追踪任务历史执行情况，并在任务执行失败时发送邮件通知和查看错误日志。

Airflow拥有与Hive、Presto、MySQL、HDFS、Postgres等数据源交互的能力，并且提供了钩子（hook）使其具有良好的扩展性。除了使用命令行，Airflow还提供了一个Web用户界面，可以可视化地查看依赖关系、监控进度、触发任务等。

Airflow的架构中包含元数据库、调度器、执行器等组件。元数据库用于存储有关任务状态的信息，调度器通常作为服务运行，而执行器则负责执行任务。这使得Airflow能够在可扩展的生产环境中高效运行。

总的来说，Airflow是一个功能强大且灵活的工作流平台，适用于各种需要任务调度和监控的场景。无论是数据处理、机器学习还是其他复杂的业务流程，Airflow都能提供有效的解决方案。

官方地址：Apache Airflow

二、使用步骤

1.安装使用

1. 首先，请确保您的系统上已安装Python。您可以通过在终端中运行以下命令来检查您的Python版本：

2. python --version

3. 确保您已安装pip。在终端中运行以下命令来检查是否已安装pip：

4. pip --version

5. 一旦确保您已经安装了Python和pip，您可以使用pip来安装Apache Airflow。在终端中运行以下命令来安装Apache Airflow：

6. pip install apache-airflow

7. 

8. 安装完成后，您需要初始化Airflow数据库。在终端中，导航到您希望存储Airflow数据库的目录，airflow users create --username xxxx --firstname xxxx --lastname xxx --role Admin --email xxxxx@qq.com 并运行以下命令：

9. airflow db init

10. 

11. 接下来，您需要启动Airflow的元数据数据库。在终端中，导航到您的Airflow目录并运行以下命令：

12. airflow webserver --port 8080

13. 最后，您可以在另一个终端窗口中启动调度程序：

14. airflow scheduler

2.修改配置

        官方推荐更改数据库和执行器：        

vim airflow/airflow.cfg

        检索命令，找到对应位置，注释原来的sqlite配置更换为mysql配置连接，增加执行器为本地执行器：

   ：/core

重新初始化db

airflow db init

---

重新重启airflow，就完成airflow的配置了，因为之前更换数据库初始化db，所以要重新创建Admin账号：airflow users create --username xxxx --firstname xxxx --lastname xxx --role Admin --email xxxxx@qq.com ，然后就可以完成airflow，并且编写程序调度了。

总结

使用Airflow关闭数据脚本可以带来一系列的好处，这些好处主要体现在以下几个方面：

1. 任务管理与调度：Airflow提供了一个平台，使得用户能够定义、调度和监控数据脚本的执行。通过Airflow，你可以方便地设置任务的依赖关系，并根据这些依赖关系有序地执行任务。这大大简化了任务管理的过程，使得数据脚本的执行更加高效和有序。
2. 自动化与可靠性：Airflow能够自动化数据脚本的执行过程，减少了手动干预的需要。同时，它提供了任务重试、错误处理和SLA（服务级别协议）约束等功能，从而确保了任务的可靠性。即使某个任务执行失败，Airflow也可以自动进行重试或触发相应的错误处理机制。
3. 可视化和监控：Airflow提供了一个易于使用的Web用户界面，使得用户可以直观地查看任务的执行状态、历史记录以及依赖关系。这使得数据脚本的监控和管理变得更加简单和直观。通过Web界面，用户可以方便地查看任务的进度、日志和统计信息，从而及时发现问题并进行处理。
4. 扩展性和灵活性：Airflow具有强大的扩展性和灵活性，可以轻松地集成第三方工具和库，满足各种复杂场景下的需求。同时，它还提供了丰富的操作符和插件架构，使得用户可以自定义操作符和传感器，以适应不同的数据处理需求。
5. 版本控制和协作：使用Airflow，你可以将数据脚本及其依赖关系保存在版本控制系统中（如Git），从而实现版本控制和协作开发。这有助于团队成员之间的协作和沟通，确保数据脚本的一致性和可维护性。

综上所述，使用Airflow关闭数据脚本可以带来任务管理的简化、自动化的执行、可靠的任务保障、可视化的监控以及扩展性和灵活性的提升等好处。这些好处使得Airflow成为数据工程和数据科学领域中流行的工作流程管理工具之一。