【Docker】Airflow 容器化部署

已于 2024-04-19 11:08:48 修改
阅读量1.5k 收藏 28
点赞数 31
分类专栏： 运维部署 文章标签： docker 容器 运维
于 2024-03-21 08:59:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tanlintanlin/article/details/136895887
版权

Airflow环境标准软件基于Bitnami Airflow 构建。当前版本为2.8.2

你可以通过轻云UC部署工具直接安装部署，也可以手动按如下文档操作，该项目已经全面开源，可以从如下环境获取
配置文件地址: https://gitee.com/qingplus/qingcloud-platform

Qinghub Studio 在线体验

什么是Airflow?

Apache Airflow 是一种以有向无环图 (DAG) 形式表达和执行工作流程的工具。它包括用于计划任务、监视任务进度和处理任务依赖性的实用程序。以编程方式编写，安排和监视工作流的平台。 Airflow scheduler程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。丰富的用户界面使查看生产中正在运行的管道，监视进度以及需要时对问题进行故障排除变的容易。

快速运行

docker run --name airflow bitnami/airflow:latest

注意: 此快速启动仅适用于开发环境。建议更改不安全的默认凭据，并查看“环境变量”部分中的可用配置选项，以实现更安全的部署。

先决条件

要运行此应用程序，您需要Docker Engine >= 1.10.0。建议使用Docker Compose1.6.0版本或更高版本。

怎样使用该image

Airflow 需要访问 PostgreSQL 数据库来存储信息。此外，如果需要使用CeleryExecutor执行器，还需要一个Airflow Scheduler、一个或多个Airflow Workers和一台Redis® 服务器。

使用 Docker 命令行

  1. 创建网络

    docker network create airflow-tier

  2. 创建用于 PostgreSQL 持久化的卷并创建 PostgreSQL 容器

    docker volume create --name postgresql_data
docker run -d --name postgresql \
  -e POSTGRESQL_USERNAME=bn_airflow \
  -e POSTGRESQL_PASSWORD=bitnami1 \
  -e POSTGRESQL_DATABASE=bitnami_airflow \
  --net airflow-tier \
  --volume postgresql_data:/bitnami/postgresql \
  bitnami/postgresql:latest

  3. 创建 Redis® 持久性卷并创建 Redis® 容器

    docker volume create --name redis_data
docker run -d --name redis \
  -e ALLOW_EMPTY_PASSWORD=yes \
  --net airflow-tier \
  --volume redis_data:/bitnami \
  bitnami/redis:latest

  4. 启动 Apache Airflow Web 容器

    docker run -d --name airflow -p 8080:8080 \
  -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
  -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
  -e AIRFLOW_EXECUTOR=CeleryExecutor \
  -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
  -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
  -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
  -e AIRFLOW_LOAD_EXAMPLES=yes \
  -e AIRFLOW_PASSWORD=bitnami123 \
  -e AIRFLOW_USERNAME=user \
  -e AIRFLOW_EMAIL=user@example.com \
  --net airflow-tier \
  bitnami/airflow:latest

  5. 启动 Apache Airflow 调度程序容器

    docker run -d --name airflow-scheduler \
  -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
  -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
  -e AIRFLOW_EXECUTOR=CeleryExecutor \
  -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
  -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
  -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
  -e AIRFLOW_LOAD_EXAMPLES=yes \
  -e AIRFLOW_WEBSERVER_HOST=airflow \
  --net airflow-tier \
  bitnami/airflow-scheduler:latest

  6. 启动 Apache Airflow 工作容器

    docker run -d --name airflow-worker \
  -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
  -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
  -e AIRFLOW_EXECUTOR=CeleryExecutor \
  -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
  -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
  -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
  -e AIRFLOW_WEBSERVER_HOST=airflow \
  --net airflow-tier \
  bitnami/airflow-worker:latest

访问地址: http://your-ip:8080

持久化应用

Airflow 容器依赖 PostgreSQL 数据库和 Redis 来保存数据。这意味着 Airflow 不会保留任何东西。为了避免数据丢失，您应该安装卷以持久保存PostgreSQL 数据和Redis® 数据
上面的示例定义了 docker 卷postgresql_data，即 、 和redis_data。只要不删除这些卷，Airflow 应用程序状态就会持续存在。
为了避免无意中删除这些卷，您可以将主机目录安装为数据卷。或者，您可以使用卷插件来托管卷数据。

使用 Docker Compose 将主机目录挂载为数据卷

以下docker-compose.yml模板演示了如何使用主机目录作为数据卷。

version: '2'
services:
  postgresql:
    image: 'bitnami/postgresql:latest'
    environment:
      - POSTGRESQL_DATABASE=bitnami_airflow
      - POSTGRESQL_USERNAME=bn_airflow
      - POSTGRESQL_PASSWORD=bitnami1
    volumes:
      - /path/to/postgresql-persistence:/bitnami/postgresql
  redis:
    image: 'bitnami/redis:latest'
    environment:
      - ALLOW_EMPTY_PASSWORD=yes
    volumes:
      - /path/to/redis-persistence:/bitnami
  airflow-worker:
    image: bitnami/airflow-worker:latest
    environment:
      - AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=
      - AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=
      - AIRFLOW_EXECUTOR=CeleryExecutor
      - AIRFLOW_DATABASE_NAME=bitnami_airflow
      - AIRFLOW_DATABASE_USERNAME=bn_airflow
      - AIRFLOW_DATABASE_PASSWORD=bitnami1
      - AIRFLOW_LOAD_EXAMPLES=yes
  airflow-scheduler:
    image: bitnami/airflow-scheduler:latest
    environment:
      - AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=
      - AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=
      - AIRFLOW_EXECUTOR=CeleryExecutor
      - AIRFLOW_DATABASE_NAME=bitnami_airflow
      - AIRFLOW_DATABASE_USERNAME=bn_airflow
      - AIRFLOW_DATABASE_PASSWORD=bitnami1
      - AIRFLOW_LOAD_EXAMPLES=yes
  airflow:
    image: bitnami/airflow:latest
    environment:
      - AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=
      - AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=
      - AIRFLOW_EXECUTOR=CeleryExecutor
      - AIRFLOW_DATABASE_NAME=bitnami_airflow
      - AIRFLOW_DATABASE_USERNAME=bn_airflow
      - AIRFLOW_DATABASE_PASSWORD=bitnami1
      - AIRFLOW_PASSWORD=bitnami123
      - AIRFLOW_USERNAME=user
      - AIRFLOW_EMAIL=user@example.com
    ports:
      - '8080:8080'
使用 Docker 命令行将主机目录挂载为数据卷

  1. 创建网络（如果不存在）

    docker network create airflow-tier

  2. 使用主机卷创建 PostgreSQL 容器

    docker run -d --name postgresql \
  -e POSTGRESQL_USERNAME=bn_airflow \
  -e POSTGRESQL_PASSWORD=bitnami1 \
  -e POSTGRESQL_DATABASE=bitnami_airflow \
  --net airflow-tier \
  --volume /path/to/postgresql-persistence:/bitnami \
  bitnami/postgresql:latest

  3. 使用主机卷创建 Redis® 容器

    docker run -d --name redis \
  -e ALLOW_EMPTY_PASSWORD=yes \
  --net airflow-tier \
  --volume /path/to/redis-persistence:/bitnami \
  bitnami/redis:latest

  4. 创建Airflow容器

    docker run -d --name airflow -p 8080:8080 \
  -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
  -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
  -e AIRFLOW_EXECUTOR=CeleryExecutor \
  -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
  -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
  -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
  -e AIRFLOW_LOAD_EXAMPLES=yes \
  -e AIRFLOW_PASSWORD=bitnami123 \
  -e AIRFLOW_USERNAME=user \
  -e AIRFLOW_EMAIL=user@example.com \
  --net airflow-tier \
  bitnami/airflow:latest

  5. 创建 Airflow Scheduler 容器

    docker run -d --name airflow-scheduler \
  -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
  -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
  -e AIRFLOW_EXECUTOR=CeleryExecutor \
  -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
  -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
  -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
  -e AIRFLOW_LOAD_EXAMPLES=yes \
  -e AIRFLOW_WEBSERVER_HOST=airflow \
  --net airflow-tier \
  bitnami/airflow-scheduler:latest

  6. 创建 Airflow Worker 容器

    docker run -d --name airflow-worker \
  -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
  -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
  -e AIRFLOW_EXECUTOR=CeleryExecutor \
  -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
  -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
  -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
  -e AIRFLOW_WEBSERVER_HOST=airflow \
  --net airflow-tier \
  bitnami/airflow-worker:latest

配置

加载 DAG 文件

自定义 DAG 文件可以安装到/opt/bitnami/airflow/dags.

安装额外的 python 模块

该容器支持在启动时安装额外的 python 模块。为此，您可以requirements.txt根据您的特定需求在路径下挂载一个文件/bitnami/python/requirements.txt。

环境变量

可定制的环境变量
NameDescriptionDefault Value
AIRFLOW_USERNAMEAirflow usernameuser
AIRFLOW_PASSWORDAirflow passwordbitnami
AIRFLOW_FIRSTNAMEAirflow firstnameFirstname
AIRFLOW_LASTNAMEAirflow lastnameLastname
AIRFLOW_EMAILAirflow emailuser@example.com
AIRFLOW_EXECUTORAirflow executor.SequentialExecutor
AIRFLOW_EXECUTORAirflow executor.CeleryExecutor
AIRFLOW_FORCE_OVERWRITE_CONF_FILEForce the airflow.cfg config file generation.no
AIRFLOW_WEBSERVER_HOSTAirflow webserver host127.0.0.1
AIRFLOW_WEBSERVER_PORT_NUMBERAirflow webserver port.8080
AIRFLOW_LOAD_EXAMPLESTo load example tasks into the application.yes
AIRFLOW_HOSTNAME_CALLABLEMethod to obtain the hostname.socket.gethostname
AIRFLOW_DATABASE_HOSTHostname for PostgreSQL server.postgresql
AIRFLOW_DATABASE_HOSTHostname for PostgreSQL server.127.0.0.1
AIRFLOW_DATABASE_PORT_NUMBERPort used by PostgreSQL server.5432
AIRFLOW_DATABASE_NAMEDatabase name that Airflow will use to connect with the database.bitnami_airflow
AIRFLOW_DATABASE_USERNAMEDatabase user that Airflow will use to connect with the database.bn_airflow
AIRFLOW_DATABASE_USE_SSLSet to yes if the database is using SSL.no
AIRFLOW_REDIS_USE_SSLSet to yes if Redis® uses SSL.no
REDIS_HOSTHostname for Redis® server.redis
REDIS_HOSTHostname for Redis® server.127.0.0.1
REDIS_PORT_NUMBERPort used by Redis® server.6379
REDIS_DATABASEName of the Redis® database.1
AIRFLOW_LDAP_ENABLEEnable LDAP authentication.no
AIRFLOW_LDAP_USER_REGISTRATIONUser self registration.True
AIRFLOW_LDAP_ROLES_SYNC_AT_LOGINReplace ALL the user roles each login, or only on registration.True
AIRFLOW_LDAP_USE_TLSUse LDAP SSL.False
AIRFLOW_LDAP_ALLOW_SELF_SIGNEDAllow self signed certicates in LDAP ssl.True
只读环境变量
NameDescriptionValue
AIRFLOW_BASE_DIRAirflow installation directory.${BITNAMI_ROOT_DIR}/airflow
AIRFLOW_HOMEAirflow home directory.${AIRFLOW_BASE_DIR}
AIRFLOW_BIN_DIRAirflow directory for binary executables.${AIRFLOW_BASE_DIR}/venv/bin
AIRFLOW_LOGS_DIRAirflow logs directory.${AIRFLOW_BASE_DIR}/logs
AIRFLOW_SCHEDULER_LOGS_DIRAirflow scheduler logs directory.${AIRFLOW_LOGS_DIR}/scheduler
AIRFLOW_LOG_FILEAirflow log file.${AIRFLOW_LOGS_DIR}/airflow-webserver.log
AIRFLOW_CONF_FILEAirflow configuration file.${AIRFLOW_BASE_DIR}/airflow.cfg
AIRFLOW_WEBSERVER_CONF_FILEAirflow configuration file.${AIRFLOW_BASE_DIR}/webserver_config.py
AIRFLOW_TMP_DIRAirflow directory temporary files.${AIRFLOW_BASE_DIR}/tmp
AIRFLOW_PID_FILEPath to the Airflow PID file.${AIRFLOW_TMP_DIR}/airflow-webserver.pid
AIRFLOW_DAGS_DIRAirflow data to be persisted.${AIRFLOW_BASE_DIR}/dags
AIRFLOW_DAEMON_USERAirflow system user.airflow
AIRFLOW_DAEMON_GROUPAirflow system group.airflow

除了前面的环境变量之外，配置文件中的所有参数都可以使用以下格式的环境变量覆盖：AIRFLOW__{SECTION}__{KEY}. 注意双下划线。

使用 Docker Compose 指定环境变量
version: '2'

services:
  airflow:
    image: bitnami/airflow:latest
    environment:
      - AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=
      - AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=
      - AIRFLOW_EXECUTOR=CeleryExecutor
      - AIRFLOW_DATABASE_NAME=bitnami_airflow
      - AIRFLOW_DATABASE_USERNAME=bn_airflow
      - AIRFLOW_DATABASE_PASSWORD=bitnami1
      - AIRFLOW_PASSWORD=bitnami123
      - AIRFLOW_USERNAME=user
      - AIRFLOW_EMAIL=user@example.com
在 Docker 命令行上指定环境变量
docker run -d --name airflow -p 8080:8080 \
    -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
    -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
    -e AIRFLOW_EXECUTOR=CeleryExecutor \
    -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
    -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
    -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
    -e AIRFLOW_PASSWORD=bitnami123 \
    -e AIRFLOW_USERNAME=user \
    -e AIRFLOW_EMAIL=user@example.com \
    bitnami/airflow:latest
SMTP 配置

要将 Airflow 配置为使用 SMTP 发送电子邮件，您可以设置以下环境变量：

  • AIRFLOW__SMTP__SMTP_HOST: Default: localhost
  • AIRFLOW__SMTP__SMTP_PORT: 发 SMTP 电子邮件的主机。默认值：: 25
  • AIRFLOW__SMTP__SMTP_STARTTLS: 发送 SMTP 电子邮件的端口。默认值: True
  • AIRFLOW__SMTP__SMTP_SSL: 使用 SSL 通信。默认值: False
  • AIRFLOW__SMTP__SMTP_USER: 用于身份验证的 SMTP 用户（可能是电子邮件）. 没有默认值.
  • AIRFLOW__SMTP__SMTP_PASSWORD: SMTP 的密码。没有默认值。
  • AIRFLOW__SMTP__SMTP_MAIL_FROM: 修改“发件人电子邮件地址”。默认值: airflow@example.com

这是SMTP 配置示例：

  • docker-compose（应用程序部分）：
  airflow:
    image: bitnami/airflow:latest
    environment:
      - AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=
      - AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=
      - AIRFLOW_EXECUTOR=CeleryExecutor
      - AIRFLOW_DATABASE_NAME=bitnami_airflow
      - AIRFLOW_DATABASE_USERNAME=bn_airflow
      - AIRFLOW_DATABASE_PASSWORD=bitnami1
      - AIRFLOW_PASSWORD=bitnami
      - AIRFLOW_USERNAME=user
      - AIRFLOW_EMAIL=user@email.com
      - AIRFLOW__SMTP__SMTP_HOST=smtp@gmail.com
      - AIRFLOW__SMTP__SMTP_USER=your_email@gmail.com
      - AIRFLOW__SMTP__SMTP_PASSWORD=your_password
      - AIRFLOW__SMTP__SMTP_PORT=587
    ports:
      - '8080:8080'
  • 手动执行：
docker run -d --name airflow -p 8080:8080 \
    -e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \
    -e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \
    -e AIRFLOW_EXECUTOR=CeleryExecutor \
    -e AIRFLOW_DATABASE_NAME=bitnami_airflow \
    -e AIRFLOW_DATABASE_USERNAME=bn_airflow \
    -e AIRFLOW_DATABASE_PASSWORD=bitnami1 \
    -e AIRFLOW_PASSWORD=bitnami123 \
    -e AIRFLOW_USERNAME=user \
    -e AIRFLOW_EMAIL=user@example.com \
    -e AIRFLOW__SMTP__SMTP_HOST=smtp@gmail.com \
    -e AIRFLOW__SMTP__SMTP_USER=your_email@gmail.com \
    -e AIRFLOW__SMTP__SMTP_PASSWORD=your_password \
    -e AIRFLOW__SMTP__SMTP_PORT=587 \
    bitnami/airflow:latest
轻云UC
关注
  • 31
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
常用环境部署(五)——Docker部署airflow和Centos安装Python3.5
wd520521的博客
06-05 1286
Docker部署airflow和Centos安装Python3.5
Airflow 2.6.3的Docker安装
qq_45459032的博客
08-04 207
环境AWS EC2服务器 ubuntu系统 8g内存。
【入门Airflow】 使用Docker在本地快速搭建Airflow
mkdir700的博客
12-16 6904
本文主要参考官方文档编写。我将顺着官方文档的流程在本地安装Airflow ，并且附上安装过程的截图。 其实官方文档步骤写得都是比较详细，奈何这英语能力真的拉跨。 不过还是建议大家在使用过程中遇到的任何问题，优先去查看官方文档，有奇效。 ​ 官方文档： https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html 生产准备 这里Airflow官方建议我们不要使用当前这种“快速入门”的方式用在生产环境。本文的这种方式就供我们
docker源码部署airflow
最新发布
qq_36129581的博客
03-15 915
1.本项目使用docker部署节点 并且是用源代码部署版本2.6.3，下面是结点分布。
docker 安装airflow及简单运行案例
weixin_42357472的博客
07-01 2819
参考：https://github.com/puckel/docker-airflow https://blog.csdn.net/qq_40133908/article/details/96722925 1、安装运行： docker run -d -p 8080:8080 puckel/docker-airflow 2、web打开查看 3、root权限进入容器 docker exec -it -u root 3ad***1b1 /bin/bash 4、安装vim apt-get update ap
Docker应用实例：ApacheAirflow工作流管理
禅与计算机程序设计艺术
01-28 1047
1.背景介绍 1. 背景介绍 Apache Airflow 是一个开源的工作流管理工具，用于程序自动化和管理。它可以帮助用户创建、调度和监控数据流管道，以实现数据处理和分析的自动化。Docker 是一个开源的应用容器引擎，用于将软件应用程序及其所有依赖项打包成一个可移植的容器，以便在任何支持Docker的环境中运行。 在本文中，我们将讨论如何使用 Docker 来部署和运行 Apache A...
airflow 在 docker 中的安装与使用
fwzzzzz的博客
05-21 4474
文章目录airflow 在 docker 中的安装与使用简介airflow 镜像环境变量配置信息dagspip 包的安装挂载目录部署airflow.cfg 配置文件修改示例加载邮件时区登录配置其他配置信息目录结构与文件.envDockerfiledocker-compose.yaml启动查看 dags 信息扩展钉钉机器人报警邮箱报警异常出现AttributeError: module ‘typing‘ has no attribute ‘_ClassVar‘错误airflow.cfg airflow 在 d
airflow-postgresql-docker：在Web服务器上进行Airflow com PostgreSQL与Docker一起使用，并在Linux环境中运行
02-08
Apache / Airflow + PostgreSQL + Docker 使用Airflow和PostgreSQL以及Linux环境下的Docker在Web服务器上进行访问。 Máquinade Testes（GCP） 机器类型： e2小型（2个vCPU，2 GB内存） 区域： us-central1-a 图片： ubuntu-minimal-2010-groovy-v20210129 大小： 10 GB 价格： $ 12.63 /月 前安装 Entrar no modo sudo sudo -i 更新包装清单 apt-get update 安装git apt-get install git 安装泊坞窗 curl -fsSL https://get.docker.com -o get-docker.sh sh get-docker.sh 安装docker-com
docker-容器化基础文档
03-09
docker-容器化基础文档
Docker容器化部署Python应用过程解析
01-08
简单应用部署 一、目录结构： └── Pythonpro #目录 　└── test.py #文件 　└── requirements.txt #文件 　└── Dockerfile #文件 二、编写Dockerfile文件 # 基于镜像基础 FROM python:3.6.4 # 创建...
airflow分布式调度
08-31
分布式任务调度部署，基于4台机器，采用docker部署，docker做的集群
airflow-python-docker:使用Docker和Airflow为Python项目创建管道
04-11
Python和DockerOperator的气流示例 本示例说明如何使用Docker为Python项目中的不同步骤创建管道。 流水线中的几个步骤由不同的程序包表示。 在此示例中，我们创建了一个非常简单的管道： 下载一些数据， 预处理该数据， 处理数据 为了从我们的Python项目创建虚拟环境和wheel文件，我们使用 。 我们创建了一个使用docker-entrypoint shell脚本来区分运行不同Python软件包的Dockerfile。 在开始任何事情之前，您首先必须使用： poetry build来构建您的项目。 我们已将项目命名为airflow_example-0.1.0-py3-none-any.whl airflow-example ，因此使用build命令创建的wheel文件将在dist目录中可用，并将命名为airflow_example-0.1.0-py3-no
sample-arm-docker-airflow:适用于ARM体系结构的Docker Apache Airflow（尤其是RaspberryPi）
03-18
样品臂泊坞窗气流 适用于ARM体系结构的Docker Apache Airflow（尤其是RaspberryPi）
Docker Compose多容器部署的实现
01-08
这里先以wordpress的部署为例引出Docker Compose，wordpress的部署需要wordpress和mysql的镜像： （一）准备环境 1、拉取wordpress镜像 [root@docker-node1 /]# docker pull wordpress 2、拉取mysql镜像 [root@...
Django Docker容器化部署之Django-Docker本地部署
09-18
主要介绍了Django Docker容器化部署之Django-Docker本地部署，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Django-Docker容器化部署-杜赛博客.pdf
08-27
感谢杜赛大佬用爱发电，本渣渣只是一个...Django-Docker容器化部署-杜赛博客，这是教你手把手部署 Docker + Django + MySQL + Nginx + Gunicorn 的傻瓜式教程，目的是让 Docker 菜鸟也能快速部署容器化的 Django 应用。
Docker安装airflow（超详细）单机，集群部署教程
Without_1113的博客
06-21 1598
基于这个项目 ：git clone https://github.com/puckel/docker-airflow 上图的文件解压后如图： ### 更改配置文件vim airflow.cfg ### 文件移动 docker-airflow底下所有文件放进 /usr/local/airflow docker的安装这里不再列出参考：https://www.runoob.com/docker/centos-docker-install.html 启动：docker-compose -..
airflow安装docker版
weixin_33949359的博客
04-10 2447
2019独角兽企业重金招聘Python工程师标准>>> ...
docker容器化部署是什么
06-08
Docker容器化部署是一种将应用程序打包成Docker容器的方式，以便轻松部署和运行。Docker是一个开源的容器化平台，它允许开发人员将应用程序及其依赖项打包在一起，形成一个可移植的容器。这个容器可以在任何平台上运行，只要支持Docker。 Docker容器化部署具有以下优点： 1. 更好的可移植性：Docker容器可以在任何支持Docker的平台上运行，无需修改代码。 2. 更快的部署和启动时间：容器化应用程序可以更快地部署和启动，因为它们已经预先打包了所有依赖项。 3. 更好的资源利用率：Docker容器可以更有效地利用主机资源，因为它们是轻量级的，可以在同一主机上同时运行多个容器。 4. 更好的可扩展性：容器化应用程序可以更容易地扩展，因为它们可以在不同的主机上运行，而无需担心依赖项问题。 总体来说，Docker容器化部署可以帮助开发人员更快地构建、交付和运行应用程序，同时提高应用程序的可移植性、可靠性和可扩展性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值