如何在Kubernetes 上部署Airflow--续篇1

已于 2022-08-20 22:41:22 修改
阅读量563 收藏
点赞数
分类专栏： Airflow kubernetes 文章标签： kubernetes 容器 云原生
于 2022-07-29 21:04:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40025970/article/details/126062286
版权
本文档详述了如何在Kubernetes集群中升级Airflow，包括修改配置文件、使用ConfigMap管理变量，以及执行升级流程。通过导出并编辑values.yaml，配置KubernetesExecutor，以及检查从ConfigMap导入的变量。
摘要由CSDN通过智能技术生成

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

`

在上一篇中我们已经在K8s cluster中部署了Airflow，本篇将通过修改values.yaml文件来实现修改Airflow的相关配置，并upgrade airflow。

提示：以下是本篇文章正文内容，下面案例可供参考

一、修改irflow 配置文件

首先从helm中导出配置文件，values.yaml,然后打开values.yaml 文件手动修改完你需要修改的配置，本笔记将要通过KuberneteExecutator 来运行任务，并通过K8s中的configmap来定义airflow中的Variable,ConfigMap定义文件如下。

1 导出airflow 配置文件

helm show  values apache-airflow/airflow  > values.yaml

2 修改对应配置

executor: "Kubernet
最低0.47元/天 解锁文章
渔夫的石头
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
helm部署airflow的主要步骤
sinat_24354307的博客
03-30 633
自己用helm部署airflow走了不少弯路，本文记录了某个需求下，helm部署airflow的步骤。
airflow-on-kubernetes:在Kubernetes上运行Apache Airflow的指南的源代码-apache source code
03-25
Kubernetes上的气流 在Kubernetes上运行Apache Airflow的指南的源代码
空气流(Kubernetes Executor)的航海图：云原生工作流管理新纪元
最新发布
gitblog_00076的博客
06-21 783
空气流(Kubernetes Executor)的航海图：云原生工作流管理新纪元 airflow-kube-helm项目地址:https://gitcode.com/gh_mirrors/ai/airflow-kube-helm 随着容器化与微服务架构的盛行，Kubernetes 成为了现代应用部署的事实标准。在此背景下，Apache Airflow 结合 Kubernetes 的力量，开启了一...
Kubernetes生产实践系列之十：安装Kubernetes原生的airflow
cloudvtech的博客
05-11 1548
一、前言 airflow是airbnb家的基于DAG(有向无环图)的任务管理系统，是进行任务分割、调度处理的利器。在生产实践中，有业务部门需要使用airflow来进行大批量数据的分多阶段、阶段内高并发的处理；结合airflow的任务分割调度能力和Kubernetes的集群资源动态调配能力，就可以快速达到业务目标。 转载自https://blog.csdn.net/cloudvtech 二...
airflow-on-k8s-operator:Airflow是Kubernetes的运营商
05-08
K8S操作员上的气流 社区 加入和专用的＃sig-kubernetes频道。 项目状态 Α 气流操作器仍在积极开发中，尚未在生产环境中进行广泛的测试。 对于Alpha版本，不保证API的向后兼容性。 先决条件 Kubernetes的版本> = 1.9。 使用1.9的气流（k8s执行器为1.10.1+） 使用Redis 4.0.x（适用于celery操作员） 使用MySQL 5.7 开始使用 从Google Cloud Marketplace到您的 使用《》使用Airflow Operator 有关更多信息，请参见《和详细的 气流操作员概述 Airflow Operator是自定义的，可轻松在Kubernetes上部署和管理Apache Airflow 。 Apache Airflow是一个以编程方式编写，计划和监视工作流的平台。 使用Airflow Operator，将Airfl
hadoop组件---spark实战-----airflow----调度工具airflow部署到k8s中使用
直到世界的尽头
02-27 9343
在之前的文章中 我们已经了解了airflow 和 它的工作原理。 hadoop组件—spark实战-----airflow----调度工具airflow的介绍和使用示例 Scheduler进程，WebServer进程和Worker进程需要单独启动。Scheduler和WebServer可以跑在一个操作系统内，也可以分开，而通常Worker需要很多，如果是部署特定的数量的Worker，那就需要特定数...
1.airflow系列之K8S部署airflow2.5.1
算法小生
03-12 1371
笔者遇到了以下问题，将会为你一一解答 + airflow db init未执行报错问题 + redis连接问题 + 日志无法查看问题 + 多woker不启动问题 + helm upgrade问题 + 缓存问题 + 数据库不存在问题 + 动态安装依赖问题
Kubernetes-Airflow:在Kubernetes上设置Apache Airflow
04-30
在Kubernetes上设置Apache Airflow 此气流设置已在IBM Cloud上实现，但是您可以在任何其他云上甚至在预置服务器或Minikube上运行代码。 如果您位于其他云上，我将在需要更改代码时通知您。 数据库 我正在使用...
airflow-code-editor:Apache Airflow的插件，可让您在浏览器中编辑DAG
04-27
您可以在[code_editor]部分中添加以下任何设置来编辑airflow.cfg 。 git_cmd git命令（可选路径） git_default_args git参数添加到每个调用中（默认值：-c color.ui = true） git_author_name作者/提交者中易于...
airflow-exporter:Airflow插件可将dag和基于任务的指标导出到Prometheus
05-11
pip install airflow-exporter 就是这样。 你完成了。 将额外的标签导出到Prometheus 通过为DAG params提供labels dict，可以向DAG相关指标添加额外的标签。 例子 dag = DAG ( 'dummy_dag' , schedule_interval...
airflow-client-go:Apache Airflow-Go的OpenApi客户端
05-17
"github.com/apache/airflow-client-go/airflow" ) func main () { cli := airflow . NewAPIClient ( & airflow. Configuration { Scheme : "http" , Host : "localhost:8080" , BasePath : "/api/v1" , })...
kedro-airflow-k8s:Kedro Plugin支持Kubernetes上Airflow 2.x上正在运行的管道
03-09
Kedro Airflow K8S插件 关于 工作正在进行中 该插件的主要目的是在Kubernetes Cluster上启用带有Airflow的kedro管道。 与不同的是，此插件不需要在airflow运行时中安装其他库，而是使用K8S基础结构。 该插件可与kedro-docker一起使用，以简化用于管道执行的kedro-docker映像的准备。 文献资料 工作正在进行中 使用指南 工作正在进行中 配置文件 工作正在进行中
apache-airflow-with-k8s-executor:这是与Kubernetes执行程序一起作为ETL的Apache气流
03-28
Minikube中的Apache Airflow设置 使用头盔 前提条件 minikube： minikube是使用VirtualBox或Docker在计算机上创建单个节点（虚拟机）Kubernetes集群的工具。 要安装minikube，请点击此 kubectl： kubectl是一个CLI工具，可用于部署应用程序，检查和管理集群资源以及查看日志。 要安装kubectl，请单击此 docker： docker是一种开源的容器化技术，用于构建和容器化您的应用程序。我们将使用docker作为minikube的VM驱动程序。 要安装docker，请点击此 helm： helm是Kubernetes的程序包管理器，它将多个Kubernetes资源打包到单个逻辑部署单元调用Chart 。 要安装helm点击此 启动Minikube 首先在单独的配置文件和群集中启动minikube，如下所示
k8s（helm） 部署airflow(详细可实施）
weixin_43921297的博客
09-08 1178
作者耗费了一周时间终于完成了airflow 在k8s上的部署工作。参考了内网外网大量的文章。 解决了日志持久化，任务pod 多namespace 运行，以及各种权限问题
k8s部署airflow+mysql
09-27 1931
k8s启动airflow + mysql 创建命名空间脚本create_shjujubu_namespace.yaml apiVersion: v1 kind: Namespace metadata: name: shujubu labels: name: shujubu 执行文件创建 shujubu命名空间： kubectl create -f create_shjujubu...
airflow v2.6.0 k8s 部署（Rancher）
奔跑的蜗牛的博客
06-19 2723
将 airflow 部署在 k8s 上有多种部署方式，官方也提供了对应的 k8s executor, 但是本文介绍的是使用 CeleryExecutor 部署 k8s 的方式，分别将 scheduler， webserver, flower, worker 部署在 k8s 上。通过 Rancher 部署 yaml 的形式，使部署方式简单了很多，也可以通过命令的方式部署。
Airflow on Kubernetes
来啊 快活啊
04-16 4498
在本系列第一篇博客Airflow Architecture中，简述了，Airflow的设计架构，Airflow在部署的时候跟设计架构也是一一对应的，Scheduler进程，WebServer进程和Worker进程需要单独启动。Scheduler和WebServer可以跑在一个操作系统内，也可以分开，而通常Worker需要很多，如果是部署特定的数量的Worker，那就需要特定数量的机器才行； Air...
大数据Airflow教程之如何在 Kubernetes 上部署 Airflow 的？包含最佳部署实践的完整指南
iCloudEnd的博客
10-18 915
我已经使用 Airflow 很长时间了。在我们的工作流管理系统中，Airflow 一直是我最喜欢的调度程序。每当我讨论“构建调度程序”时，我的脑海中都会立即跳出“气流”这个词。起初，我的 Airflow 使用 docker 容器和CeleryExecutor. 作为我们数据工程团队的调度程序，它运行良好。几个月后，我们的调度器需要服务更多的用户，处理更繁重的工作量。所以我必须寻找能够满足我们要求的东西：稳定性、可扩展性和多租户用户支持。
如何在Kubernetes 上部署Airflow--续篇2
qq_40025970的博客
08-19 340
上一篇记录了如何修改airflow的配置文件，并更新部署在K8s cluster上面的airflow，本篇将记录如何building the image 以及添加 dags文件提示.本篇笔记记录了如何添加airflow应用的各种库文件，即extending the base image，以及如何mount dags文件，这部完成后，基于k8的一个airflow cluster就部署完成，1个master nodes，3个work nodes。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值