如何在Kubernetes 上部署Airflow--续篇2

本文介绍了如何在Kubernetes上构建Airflow的自定义镜像,包括添加requirements.txt和Dockerfile,以及通过git-sync从GitHub同步DAG文件。最后,文中提及了一个包含一个master节点和三个worker节点的Airflow集群的部署完成。
摘要由CSDN通过智能技术生成

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档


前言

提示:这里可以添加本文要记录的大概内容:

上一篇记录了如何修改airflow的配置文件,并更新部署在K8s cluster上面的airflow,本篇将记录如何building the image 以及添加 dags文件

提示:以下是本篇文章正文内容,下面案例可供参考

一、Building the image

参照 Ariflow Doc 介绍运行dags需要的第3方package or library,主要通过以下两种方式 Extending or customizing the image.具体2种方式的优缺点参照 Airflow Doc链接,本篇日记记录如何通过Extending image的方式来build the image

  1. Add requirements.txt 文件,例如如下内容。
airflow-provider-great-expectations==0.1.4
matplotlib==3.3.2
  1. 创建Dockerfile 文件&#
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值