Airflow 2.6.3的Docker安装

最新推荐文章于 2024-05-20 21:37:44 发布
最新推荐文章于 2024-05-20 21:37:44 发布
阅读量252 收藏
点赞数
文章标签： docker 容器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45459032/article/details/132114047
版权
本文介绍了如何在AWS EC2 Ubuntu服务器上通过Docker和Docker Compose安装Airflow 2.6.3。首先启动EC2实例，然后安装Docker和Docker Compose。接着，从官方获取docker-compose.yaml文件，创建Airflow目录，设置group id为0，初始化数据库并创建账号。最后，成功启动Airflow，现在可以通过Web界面进行操作。
摘要由CSDN通过智能技术生成

环境AWS EC2服务器 ubuntu系统 8g内存

1.启动一台ec2服务器

我们选取ubuntu为操作系统

2.安装docker

curl -fsSL https://test.docker.com -o test-docker.sh

执行官方安装doker的脚本后，执行这个命令后，脚本就会自动的将一切准备工作做好，并且把 Docker 的稳定(stable)版本安装在系统中。

3.安装docker compose

官方docker compose要求：

官方要求docker compose为1.29.1以上

安装的v2.20.1

运行以下命令以下载 Docker Compose 的当前稳定版本：

sudo curl -L "https://github.com/docker/compose/releases/download/v2.20.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compo
最低0.47元/天 解锁文章
请聊QQ
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
常用环境部署(五)——Docker部署airflow和Centos安装Python3.5
wd520521的博客
06-05 1324
Docker部署airflow和Centos安装Python3.5
ZipFile 解压多个.zip压缩文件
Cmmmmm丶的博客
06-20 625
用zipfile一次解压多个文件
Airflow Docker安装
weixin_48167451的博客
04-20 3000
相信很多data工程师都或多或少接触过Airflow，airflow是apache基金会的开源项目,能白嫖为啥不用是吧！！ 官网:https://airflow.apache.org/ 目的：很多小伙伴在airflow安装的时候遇到了pip的一些问题，很烦是吧，所以废话不多说，docker安装，直接撸他 环境介绍：Centos 7.5 Airflow官网教程在这里 https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html
airflow安装docker版
weixin_33949359的博客
04-10 2457
2019独角兽企业重金招聘Python工程师标准>>> ...
airflow 在 docker 中的安装与使用
fwzzzzz的博客
05-21 4652
文章目录airflow 在 docker 中的安装与使用简介airflow 镜像环境变量配置信息dagspip 包的安装挂载目录部署airflow.cfg 配置文件修改示例加载邮件时区登录配置其他配置信息目录结构与文件.envDockerfiledocker-compose.yaml启动查看 dags 信息扩展钉钉机器人报警邮箱报警异常出现AttributeError: module ‘typing‘ has no attribute ‘_ClassVar‘错误airflow.cfg airflow 在 d
利用Docker安装Airflow
Cmmmmm丶的博客
12-21 704
利用Docker安装Airflow
docker-airflow：Docker Apache Airflow
02-05
docker-气流 该存储库包含 airflow的Dockerfile ，用于将的发布到公共。 资讯资讯 基于Python（3.7-slim-... docker build --rm --build-arg AIRFLOW_DEPS="datadog,dask" -t puckel/docker-airflow . docker build
airflow-docker:为所有操作员专门使用气流DockerOperators的自以为是的实现
05-22
from airflow_docker . operator import Operator task = Operator ( image = 'some-image:latest' , ... ) 默认传感器 from airflow_docker . operator import Sensor sensor = Sensor ( image = 'some-image:...
AIRFLOW_DOCKER_SNOWFLAKE
03-09
AIRFLOW_DOCKER_SNOWFLAKE 在线状态 描述 该存储库包含一个DAG，该DAG允许运行从多个足球联赛中提取的数据并将数据发送到Snowflake表中，以回答以下问题： 哪些球队在2020-2021赛季得分最高？ 出版物 如果愿意，...
airflow中文时区完美解决方案_与安装大全
01-07
本文档让你使用最新版的airflow同时可以使用中国时区。并附有airflow中文资料引用。airflow安装方案细节。 airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。airflow 将workflow编排为tasks组成的DAGs，调度器在一组workers上按照指定的依赖关系执行tasks。同时，airflow 提供了丰富的命令行工具和简单易用的用户界面以便用户查看和操作，并且airflow提供了监控和报警系统。
仅此记录-Docker部署airflow(单节点)
qq_37902466的博客
03-22 744
操作系统 Ubuntu：22.04.2。
airflow v2.6.0 Docker Compose 部署
奔跑的蜗牛的博客
06-19 1938
本文主要记载 airflow 容器化部署步骤以及需要注意的事项。
【Docker】Airflow 容器化部署
Qinghub‘博客
03-21 1936
Apache Airflow 是一种以有向无环图 (DAG) 形式表达和执行工作流程的工具。它包括用于计划任务、监视任务进度和处理任务依赖性的实用程序。以编程方式编写，安排和监视工作流的平台。 Airflow scheduler程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。丰富的用户界面使查看生产中正在运行的管道，监视进度以及需要时对问题进行故障排除变的容易。
docker上安装airflow
weixin_38170065的博客
09-26 1058
centos 7环境下： mkdir airflow //创建airflow文件夹 git clone https://github.com/puckel/docker-airflow.git /root/airflow //下载源码到airflow文件夹 docker run -d -p 8082:8080 puckel/docker-airflow //安...
Airflow的docker-compose.yaml安装
weixin_43651674的博客
01-25 1439
由于airflow的组件多，相互关联性强，特别在使用celery调度方式的情况下，另外加上airflow的版本迭代确实快。所以本地固有安装不是一种良好的维护方式。所以特此推荐使用docker-compose.yaml进行安装，一站式启停。
调度系统Airflow1.10.4调研与介绍和docker安装
weixin_30797199的博客
08-26 295
Airflow1.10.4介绍与安装 现在是9102年，8月中旬。airflow当前版本是1.10.4. 随着公司调度任务增大，原有的，基于crontab和mysql的任务调度方案已经不太合适了，需要寻找一个可以支持分布式扩容的调度系统解决方案。 最初瞄准azkaban来着，想着基于这个的二次开发。对比功能和社区热度之后，Airflow比较符合我们寻找的调度系统。 什么是Airflo...
Windows 11上使用Docker部署Airflow详细步骤及坑点指南
最新发布
nixionglin的专栏
05-20 1162
在Windows 11上使用Docker部署Airflow可能会遇到一些挑战和坑点。本文将带你深入了解如何克服这些问题，并成功部署Airflow，让你的工作流管理更加高效。
【入门Airflow】 使用Docker在本地快速搭建Airflow
mkdir700的博客
12-16 7237
本文主要参考官方文档编写。我将顺着官方文档的流程在本地安装Airflow ，并且附上安装过程的截图。 其实官方文档步骤写得都是比较详细，奈何这英语能力真的拉跨。 不过还是建议大家在使用过程中遇到的任何问题，优先去查看官方文档，有奇效。 ​ 官方文档： https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html 生产准备 这里Airflow官方建议我们不要使用当前这种“快速入门”的方式用在生产环境。本文的这种方式就供我们
airflow docker安装
05-04
要在 Docker 中安装 Airflow，可以按照以下步骤进行操作： 1. 首先，您需要在系统上安装 Docker。您可以在 https://docs.docker.com/get-docker/ 上找到适合您操作系统的 Docker 安装指南。 2. 接下来，创建一个 Dockerfile。在这个文件中，您需要指定所需的操作系统、Python 版本和其他依赖项，以及要安装的 Airflow 版本和其他 Python 包。以下是一个简单的 Dockerfile 示例： ``` FROM python:3.8-slim-buster RUN apt-get update && apt-get install -y \ libpq-dev \ && rm -rf /var/lib/apt/lists/* RUN pip install --upgrade pip RUN pip install apache-airflow==2.1.4 \ --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.1.4/constraints-3.8.txt" WORKDIR /usr/local/airflow RUN useradd -ms /bin/bash -d ${AIRFLOW_HOME} airflow USER airflow CMD ["bash"] ``` 3. 在 Dockerfile 所在的目录中，运行以下命令来构建 Docker 镜像： ``` docker build -t my-airflow . ``` 4. 等待镜像构建完成后，可以使用以下命令来运行 Airflow 容器： ``` docker run -it -p 8080:8080 my-airflow ``` 其中，-p 参数指定了要将容器的 8080 端口映射到主机的 8080 端口，以便您可以通过浏览器访问 Airflow Web UI。 5. 如果需要在容器中运行 Airflow 作业，您可以使用以下命令来启动 Airflow 调度程序： ``` docker exec -it <container-id> airflow scheduler ``` 其中，<container-id> 是容器的 ID，可以通过运行以下命令来查找： ``` docker ps ``` 这样，您就可以在 Docker 中安装和运行 Airflow 了。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值