Apache Airflow容器化部署

最新推荐文章于 2024-09-23 09:49:26 发布
最新推荐文章于 2024-09-23 09:49:26 发布
阅读量2k 收藏 35
点赞数 33
文章标签： apache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sl_70683903/article/details/137346279
版权

Apache Airflow标准软件基于Bitnami airflow-scheduler 构建。当前版本为2.4.58

你可以通过轻云UC部署工具直接安装部署，也可以手动按如下文档操作，该项目已经全面开源，可以从如下环境获取 配置文件地址: qingcloud-platform: 一站式、开箱即用、可扩展的组件化软件工厂！高效易用 低代码 组件化 软件开发设计器。助力中小微企业低成本快速实现数字化转型，提高开发人员工作效率。

qinghub自动安装部署配置库

What is Apache Airflow Scheduler?

Apache Airflow 是一种以有向无环图 (DAG) 形式表达和执行工作流程的工具。Airflow scheduler触发任务并提供监控任务进度的工具。

快速运行

docker run --name airflow-scheduler bitnami/airflow-scheduler:latest

您可以在环境变量部分找到默认凭据和可用的配置选项。

先决条件

要运行此应用程序，您需要Docker Engine >= 1.10.0。建议使用Docker Compose1.6.0版本或更高版本。

使用

Apache Airflow Scheduler 是使用CeleryExecutor. 因此，您将需要其余的 Airflow 组件才能使该图像正常工作。您将需要一台Airflow Web 服务器、一个或多个Airflow Workers、一个PostgreSQL 数据库和一台Redis(R) 服务器。

使用 Docker 命令行

  1. 创建网络docker network create airflow-tier
  2. 创建用于 PostgreSQL 持久化的卷并创建 PostgreSQL 容器
docker volume create --name postgresql_data
docker run -d --name postgresql \
  -e POSTGRESQL_USERNAME=bn_airflow \
  -e POSTGRESQL_PASSWORD=bitnami1 \
  -e POSTGRESQL_DATABASE=bitnami_airflow \
  --net airflow-tier \
  --volume postgresql_data:/bitnami/postgresql \
  bitnami/postgresql:latest
  1. 创建 Redis(R) 持久性卷并创建 Redis(R) 容器
docker volume create --name redis_data
docker run -d --name redis \
  -e ALLOW_EMPTY_PASSWORD=yes \
  --net airflow-tier \
  --volume redis_data:/bitnami \
  bitnami/redis:latest
  1. 启动 Apache Airflow Scheduler Web 容器
docker run -d --name airflow -p 8080:8080 \
  -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
  -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
  -e AIRFLOW_EXECUTOR=CeleryExecutor \
  -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
  -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
  -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
  -e AIRFLOW_LOAD_EXAMPLES=yes \
  -e AIRFLOW_PASSWORD=bitnami123 \
  -e AIRFLOW_USERNAME=user \
  -e AIRFLOW_EMAIL=user@example.com \
  --net airflow-tier \
  bitnami/airflow:latest
  1. 启动 Apache Airflow Scheduler 调度程序容器
docker run -d --name airflow-scheduler \
  -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
  -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
  -e AIRFLOW_EXECUTOR=CeleryExecutor \
  -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
  -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
  -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
  -e AIRFLOW_LOAD_EXAMPLES=yes \
  --net airflow-tier \
  bitnami/airflow-scheduler:latest
  1. 启动 Apache Airflow Scheduler 工作容器
docker run -d --name airflow-worker \
  -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
  -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
  -e AIRFLOW_EXECUTOR=CeleryExecutor \
  -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
  -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
  -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
  --net airflow-tier \
  bitnami/airflow-worker:latest

访问 : http://your-ip:8080

持久化应用

Airflow 容器依赖 PostgreSQL 数据库和 Redis 来保存数据。这意味着 Airflow 不会保留任何东西。为了避免数据丢失，您应该安装卷以持久保存PostgreSQL 数据和Redis(R) 数据

上面的示例定义了 docker 卷postgresql_data，即 、 和redis_data。只要不删除这些卷，Airflow 应用程序状态就会持续存在。

为了避免无意中删除这些卷，您可以将主机目录安装为数据卷。或者，您可以使用卷插件来托管卷数据。

使用 Docker Compose 将主机目录挂载为数据卷

以下docker-compose.yml模板演示了如何使用主机目录作为数据卷。

version: '2'
services:
  postgresql:
    image: 'bitnami/postgresql:latest'
    environment:
      - POSTGRESQL_DATABASE=bitnami_airflow
      - POSTGRESQL_USERNAME=bn_airflow
      - POSTGRESQL_PASSWORD=bitnami1
    volumes:
      - /path/to/postgresql-persistence:/bitnami
  redis:
    image: 'bitnami/redis:latest'
    environment:
      - ALLOW_EMPTY_PASSWORD=yes
    volumes:
      - /path/to/redis-persistence:/bitnami
  airflow-worker:
    image: bitnami/airflow-worker:latest
    environment:
      - AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=
      - AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=
      - AIRFLOW_EXECUTOR=CeleryExecutor
      - AIRFLOW_DATABASE_NAME=bitnami_airflow
      - AIRFLOW_DATABASE_USERNAME=bn_airflow
      - AIRFLOW_DATABASE_PASSWORD=bitnami1
      - AIRFLOW_LOAD_EXAMPLES=yes
  airflow-scheduler:
    image: bitnami/airflow-scheduler:latest
    environment:
      - AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=
      - AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=
      - AIRFLOW_EXECUTOR=CeleryExecutor
      - AIRFLOW_DATABASE_NAME=bitnami_airflow
      - AIRFLOW_DATABASE_USERNAME=bn_airflow
      - AIRFLOW_DATABASE_PASSWORD=bitnami1
      - AIRFLOW_LOAD_EXAMPLES=yes
  airflow:
    image: bitnami/airflow:latest
    environment:
      - AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=
      - AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=
      - AIRFLOW_EXECUTOR=CeleryExecutor
      - AIRFLOW_DATABASE_NAME=bitnami_airflow
      - AIRFLOW_DATABASE_USERNAME=bn_airflow
      - AIRFLOW_DATABASE_PASSWORD=bitnami1
      - AIRFLOW_PASSWORD=bitnami123
      - AIRFLOW_USERNAME=user
      - AIRFLOW_EMAIL=user@example.com
    ports:
      - '8080:8080'
使用 Docker 命令行将主机目录挂载为数据卷
  1. 创建网络（如果不存在）docker network create airflow-tier
  2. 使用主机卷创建 PostgreSQL 容器
docker run -d --name postgresql \
  -e POSTGRESQL_USERNAME=bn_airflow \
  -e POSTGRESQL_PASSWORD=bitnami1 \
  -e POSTGRESQL_DATABASE=bitnami_airflow \
  --net airflow-tier \
  --volume /path/to/postgresql-persistence:/bitnami \
  bitnami/postgresql:latest
  1. 使用主机卷创建 Redis(R) 容器
docker run -d --name redis \
  -e ALLOW_EMPTY_PASSWORD=yes \
  --net airflow-tier \
  --volume /path/to/redis-persistence:/bitnami \
  bitnami/redis:latest
  1. 创建 Airflow 容器
docker run -d --name airflow -p 8080:8080 \
  -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
  -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
  -e AIRFLOW_EXECUTOR=CeleryExecutor \
  -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
  -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
  -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
  -e AIRFLOW_LOAD_EXAMPLES=yes \
  -e AIRFLOW_PASSWORD=bitnami123 \
  -e AIRFLOW_USERNAME=user \
  -e AIRFLOW_EMAIL=user@example.com \
  --net airflow-tier \
  bitnami/airflow:latest
  1. 创建 Apache Airflow Scheduler 容器
docker run -d --name airflow-scheduler \
  -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
  -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
  -e AIRFLOW_EXECUTOR=CeleryExecutor \
  -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
  -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
  -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
  -e AIRFLOW_LOAD_EXAMPLES=yes \
  --net airflow-tier \
  bitnami/airflow-scheduler:latest
  1. 创建 Airflow Worker 容器
docker run -d --name airflow-worker \
  -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
  -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
  -e AIRFLOW_EXECUTOR=CeleryExecutor \
  -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
  -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
  -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
  --net airflow-tier \
  bitnami/airflow-worker:latest

配置

安装额外的 python 模块

该容器支持在启动时安装额外的 python 模块。为此，您可以requirements.txt根据您的特定需求在路径下挂载一个文件/bitnami/python/requirements.txt。

环境变量

可定制的环境变量

Name

Description

Default Value

AIRFLOW_EXECUTOR

Airflow executor.

SequentialExecutor

AIRFLOW_EXECUTOR

Airflow executor.

CeleryExecutor

AIRFLOW_FORCE_OVERWRITE_CONF_FILE

Force the airflow.cfg config file generation.

no

AIRFLOW_WEBSERVER_HOST

Airflow webserver host

127.0.0.1

AIRFLOW_WEBSERVER_PORT_NUMBER

Airflow webserver port.

8080

AIRFLOW_LOAD_EXAMPLES

To load example tasks into the application.

yes

AIRFLOW_HOSTNAME_CALLABLE

Method to obtain the hostname.

socket.gethostname

AIRFLOW_DATABASE_HOST

Hostname for PostgreSQL server.

postgresql

AIRFLOW_DATABASE_HOST

Hostname for PostgreSQL server.

127.0.0.1

AIRFLOW_DATABASE_PORT_NUMBER

Port used by PostgreSQL server.

5432

AIRFLOW_DATABASE_NAME

Database name that Airflow will use to connect with the database.

bitnami_airflow

AIRFLOW_DATABASE_USERNAME

Database user that Airflow will use to connect with the database.

bn_airflow

AIRFLOW_DATABASE_USE_SSL

Set to yes if the database is using SSL.

no

AIRFLOW_REDIS_USE_SSL

Set to yes if Redis(R) uses SSL.

no

REDIS_HOST

Hostname for Redis(R) server.

redis

REDIS_HOST

Hostname for Redis(R) server.

127.0.0.1

REDIS_PORT_NUMBER

Port used by Redis(R) server.

6379

REDIS_DATABASE

Name of the Redis(R) database.

1

只读环境变量

Name

Description

Value

AIRFLOW_BASE_DIR

Airflow installation directory.

${BITNAMI_ROOT_DIR}/airflow

AIRFLOW_HOME

Airflow home directory.

${AIRFLOW_BASE_DIR}

AIRFLOW_BIN_DIR

Airflow directory for binary executables.

${AIRFLOW_BASE_DIR}/venv/bin

AIRFLOW_LOGS_DIR

Airflow logs directory.

${AIRFLOW_BASE_DIR}/logs

AIRFLOW_SCHEDULER_LOGS_DIR

Airflow scheduler logs directory.

${AIRFLOW_LOGS_DIR}/scheduler

AIRFLOW_LOG_FILE

Airflow logs file.

${AIRFLOW_LOGS_DIR}/airflow-scheduler.log

AIRFLOW_CONF_FILE

Airflow configuration file.

${AIRFLOW_BASE_DIR}/airflow.cfg

AIRFLOW_TMP_DIR

Airflow directory temporary files.

${AIRFLOW_BASE_DIR}/tmp

AIRFLOW_PID_FILE

Path to the Airflow PID file.

${AIRFLOW_TMP_DIR}/airflow-scheduler.pid

AIRFLOW_DAGS_DIR

Airflow data to be persisted.

${AIRFLOW_BASE_DIR}/dags

AIRFLOW_DAEMON_USER

Airflow system user.

airflow

AIRFLOW_DAEMON_GROUP

Airflow system group.

airflow

除了前面的环境变量之外，配置文件中的所有参数都可以使用以下格式的环境变量覆盖：AIRFLOW__{SECTION}__{KEY}. 注意双下划线。

使用 Docker Compose 指定环境变量
version: '2'

services:
  airflow:
    image: bitnami/airflow:1
    environment:
      - AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=
      - AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=
      - AIRFLOW_EXECUTOR=CeleryExecutor
      - AIRFLOW_DATABASE_NAME=bitnami_airflow
      - AIRFLOW_DATABASE_USERNAME=bn_airflow
      - AIRFLOW_DATABASE_PASSWORD=bitnami1
      - AIRFLOW_PASSWORD=bitnami123
      - AIRFLOW_USERNAME=user
      - AIRFLOW_EMAIL=user@example.com
在 Docker 命令行上指定环境变量
docker run -d --name airflow -p 8080:8080 \
    -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
    -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
    -e AIRFLOW_EXECUTOR=CeleryExecutor \
    -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
    -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
    -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
    -e AIRFLOW_PASSWORD=bitnami123 \
    -e AIRFLOW_USERNAME=user \
    -e AIRFLOW_EMAIL=user@example.com \
    --volume airflow_data:/bitnami \
    bitnami/airflow:latest
何来2024
关注
Apache Airflow实践：Airflow项目介绍及代码解析
AI天才研究院
08-14 363
Apache Airflow是一个开源的基于Python的工作流调度框架，可用于数据管道、ETL、数据分析等工作流程自动化，并提供Web界面进行管理。本文将对Apache Airflow进行介绍，并阐述其实现方式及一些重要模块的设计理念。
Apache Airflow 核心配置及优化技巧
AI天才研究院
08-08 272
Apache Airflow是一个开源的批处理数据工作流管理系统，由Apache Software Foundation发布。Airflow是一个能够编排基于DAG(有向无环图)模型的工作流程的平台。用户可以定义任务、调度周期、依赖关系等，然后Airflow会根据定义好的计划自动执行这些任务。易于使用：Airflow UI提供友好易用的可视化界面，用户只需简单地配置任务和流程，就可以使用Airflow自动化完成相应的数据分析工作。
Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）_apache airflow教程
2301_77033672的博客
04-26 940
下面是几个将触发几个任务实例的命令。当您运行下面的命令时，您应该能够在example_bash_operator DAG中看到作业的状态变化。以守护进程模式运行意味着该进程将在后台持续运行，而不占用当前终端。在浏览器中访问localhost:8080，并使用终端显示的管理员帐户详细信息登录。菜单中的UI检查该文件。如果由systemd启动webserver的PID将存储在。的文件，这将使您快速运行。该命令初始化数据库、创建用户并启动所有组件。在运行这些命令后，Airflow将创建。中检查该文件，或者通过。
Apache Airflow
ykqidev的博客
11-16 406
Airflow官网：https://airflow.apache.org/ 集群运行任务情况：大概1300+ 10min任务：36 30min任务：31 1h任务：45 剩下的天、周、月级任务（主要天级）：1200+ 任务挂了的操作： 1）运行成功或者失败都会发邮件、发钉钉、集成自动打电话（项目中遇到的问题） 2）最主要的解决方案就是重新跑。 3）第三方报警网站：http://www.onealert.com/ ...
数据开发｜如何使用Apache Airflow进行任务调度？干货分享！
最新发布
在数字化道路无限探索
09-23 1152
执行器将任务实际执行在相应的工作节点上，并将执行结果返回。负责根据定义的 DAG（Directed Acyclic Graph，有向无环图）图，计划和触发任务的执行。元数据库存储了 Airflow 的元数据，包括 DAG 的定义、任务实例的状态、任务执行日志等。这允许用户在不同的任务和工作流之间共享信息，并支持任务的重试、回溯和监控。，用于监控和管理工作的状态、任务的执行情况、查看日志以及触发任务的手动运行等。Airflow 提供实时的任务监控和日志记录功能，使用户能够方便地跟踪任务的执行情况并解决问题。
任务编排和调度神器：Apache Airflow
we chat：玩转测试开发
05-14 2469
例如，你可以使用Airflow来定义和调度一个ETL工作流，这个工作流从多个数据源提取数据，将数据进行清洗和转换，然后将数据加载到数据仓库中。感受：Airflow 的一个关键特性是它的编程模型，这使得工作流可以作为代码来编写和管理，从而使得任务的复杂逻辑更易于理解和维护。此外，Airflow 还具有强大的调度和监控功能，使得你可以轻松地调度任务、监控任务运行状态，并在任务失败时接收警报。5、Airflow的Web界面可以提供很多有用的信息，但是它并不适合用来进行复杂的操作，例如修改DAG或任务的定义。
Airflow成为Apache软件基金会的顶级项目
cpongo5
01-14 404
Airflow是一个开源的大数据工作流管理系统，在Adobe、Airbnb、Etsy、谷歌、ING、Lyft、PayPal、Reddit、Square、推特和美联航等组织得到广泛应用。2019年1月8日，位于马萨诸塞州Wakefield的Apache软件基金会宣布Airflow为顶级项目。Airflow是一个灵活可扩展的工作流自动化和调度系统，用于创建和管理数百PB级的大数据处理管道。从Apach...
airflow-on-kubernetes:在Kubernetes上运行Apache Airflow的指南的源代码-apache source code
03-25
- **Volume Mounts**：DAGs通常存储在外部存储系统中，需要通过Volume Mounts挂载到Airflow容器内，以便Web UI和Scheduler可以读取。 - **Environment Variables**：设置环境变量来配置Airflow，如AIRFLOW_HOME、...
如何在Kubernetes 上部署Airflow--续篇1
qq_40025970的博客
07-29 726
在上一篇中我们已经在K8scluster中部署了Airflow，本篇将通过修改values.yaml文件来实现修改Airflow的相关配置，并upgrade airflow,后续将对如何上载dag文件以及添加requirement.txt的相关操作步骤进行记录。
apache-airflow-with-k8s-executor:这是与Kubernetes执行程序一起作为ETL的Apache气流
03-28
Minikube中的Apache Airflow设置 使用头盔 前提条件 minikube： minikube是使用VirtualBox或Docker在计算机上创建单个节点（虚拟机）Kubernetes集群的工具。 要安装minikube，请点击此 kubectl： kubectl是一个CLI...
Apache Airflow (incubating) Documentation
11-24
Apache Airflow (incubating) Documentation
Apache-Airflow:Apache Airflow的源代码使用-apache source code
03-25
阿帕奇气流 Apache Airflow的源代码使用包括： 重击运算符 Python运算子 MySQL运算符 PostgreSQL运算符 Google云端运算子 dst
airflow搭建
weixin_45720992的博客
03-27 969
由于将OS系统默认的Python版本更改了，导致系统自带的命令行工具(yum/ urlgrabber-ext-down/ yum-config-manager)无法直接使用，需要做更改才行。以 root 用户运行。阿里云的源头，如果用 豆瓣的。的会出现安装时版本依赖的问题。
Apache Airflow系列文章
Young2018的博客
10-15 1995
Apache Airflow是优秀的 数据流水线耦合工具，在开源世界已经成为了事实上的 工作流调度标准，国外的云厂商都直接提供Airflow的云服务，其开源势头也特别的强劲，预计在 2020年年底推出 2.0版本，届时其性能将更加强大，功能更为丰富，UI更为现代化。 下面是我基于实战总结出来的Apache Airflow系列文章，供各位需要的网友参考。 1.Airflow部署文档(物理机版本) ...
Apache Airflow (一) ： Airflow架构、术语、工作原理
qq_32020645的博客
11-08 4421
Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。Airflow采用Python语言编写，提供可编程方式定义DAG工作流，可以定义一组有依赖的任务，按照依赖依次执行， 实现任务管理、调度、监控功能。
工作流管理框架airflow-安装部署教程
Trisyp的博客
01-18 3649
Airflow是一个以编程方式编写，用于管理和调度工作流的平台。可以帮助你定义复杂的工作流程,然后在集群上执行和监控这些工作流。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。Airflow的可扩展Python框架可以让你构建连接几乎任何技术的工作流程。丰富的用户界面可以随时查看生产中正在运行的管道，帮助你管理工作流程的状态，监视进度以及需要时对问题进行故障排除。
Apache Airflow2.2.4
一名假的程序猿
11-22 577
airflow
Apache Airflow快速入门
qq_44460210的博客
05-22 446
本文会指导你在本地环境启动一个Airflow的单例应用参考本文，Airflow的安装就很简单。Airflow通过约束文件来支持重复安装，因此推荐使用pip和约束文件进行安装。设置Airflow安装目录（可选）Airflow使用~/airflow作为默认安装目录，你也可以通过设置变量来自定义位置。注意设置安装目录必须在安装之前。使用官方定义的约束文件安装Airflow$(-c启动Airflow单例应用该指令包括了初始化数据库，创建admin用户，以及启动所有的组件打开Airflow UI页面。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值