airflow分布式部署、参数配置、优劣势分析、工程经验

最新推荐文章于 2024-09-10 10:02:26 发布
最新推荐文章于 2024-09-10 10:02:26 发布
阅读量1.1w 收藏 16
点赞数 4
文章标签： 分布式架构 参数配置 优劣势 工程经验 airflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haofangasd/article/details/83045432
版权
本文分享了Airflow分布式部署的经验，包括参数配置、调度与业务代码分离，并分析了其优劣势。在实践中，分布式部署需要注意dag的一致性，避免业务耦合，同时指出了可能的错误及后果。
摘要由CSDN通过智能技术生成

这是第一篇博客，内容很简单，主要是记录工作中遇到的关于airflow分布式方面的经验。意义在于学习博客的使用，让自己养成技术博客的习惯。

目录

优劣势分析

分布式部署架构简析

分布式参数

调度、业务代码分离

注意事项

优劣势分析

airflow是一个编排、调度和监控workflow的平台，是一个工作任务的调度平台，其内置了比较全面实用的调度功能。下表列出了实际场景下，使用airflow和未使用airflow的对比。

未使用airflow

使用airflow
需要自己添加调度代码、调试复杂、功能单一、缺乏整体调度能力 框架调度，简单易用，更稳定，功能全面，可以整体调度
缺乏图形化能力，给任务的新增、排查等操作带来很多困难。特别是当任务较多，结构复杂的时候 内置树状图和流程图，清晰明了的展现任务拓扑结构
需要自己添加任务实时监测代码 任务实时状态返回网页界面，方便管理和查看
任务的各种操作大多需要编码或命令行完成，不够高
最低0.47元/天 解锁文章
haofangasd
关注
大数据调度平台Airflow（八）：Airflow分布式集群搭建及测试
Lansonli（蓝深李）的博客
04-02 9524
目录 Airflow分布式集群搭建及测试 一、节点规划 二、airflow集群搭建步骤 1、在所有节点安装python3.7 2、在所有节点上安装airflow 三、初始化Airflow 1、每台节点安装需要的python依赖包 2、在node1上初始化Airflow 数据库 四、​​​​​​​创建管理员用户信息 五、​​​​​​​配置Scheduler HA 1、下载failover组件 2、使用pip进行安装failover需要的依赖包 3、node1节点初始化failover
使用Kubernetes（K8S）部署分布式调度任务Airflow
LpmShell的博客
09-23 383
本文介绍了如何使用Kubernetes部署分布式调度任务Airflow。通过使用Kubernetes的强大功能，我们可以轻松地管理和扩展Airflow实例。通过创建Kubernetes集群，配置Airflow并使用Deployment和Service对象部署和暴露Airflow服务，我们能够快速搭建一个可靠且可扩展的分布式任务调度平台。希望这篇文章对你有帮助！
分布式任务调度框架airflow介绍
Marionxue
01-04 6215
airflow Airflow是一个分布式任务调度框架，可以把具有上下级依赖关系的工作流组装成一个有向无环图; 有向无环图长得就如下一般： 说的云里雾里的，那么Airflow究竟是什么呢？简单说，airflow就是一个平台，你可以在这个平台上创建、管理、执行自定义的工作流，这里的工作流就是前面所说的有向无环图，如上图所示一样，有向无环图是由一系列单独运行的task组合而成，任务之间的前后排列取决于任务之间处理的关系或者数据的流转的方向，而这里的工作流有一个很专业的名字叫DAG(Directed Acycl.
airflow cluster 集群，docker-compose.yaml安装部署，日志同步，代码同步实现
最新发布
weixin_43651674的博客
09-10 1228
直接安装在linux上的，基本就是新手级别的，维护都困难，跟别说迁移了docker镜像启动，参数大多写死，后期运维，基本就是他自己能看懂基于这些情况，在通过不断的官方文档阅读，终于找到了华丽而优化的集群方式，对此，也欢迎大家一起探讨此前本人已经制作过一篇关于docker-compose.yaml方式安装airflow的文章，对于具体的单机安装步骤上，我可能会进行省略，重点讲解集群中部署的重点和遇到的问题。Airflow的docker-compose.yaml安装这里本人是准备了一主二从。
airflow分布式部署
Gzigithub的博客
01-03 5124
1、首先将服务器之间设置免密 现需要有A,B,C(假设IP地址为192.168.x.xxx)三台服务器，要求A,B可以同时免密登录到服务器C，服务器C作为master，另外两台作为worker 操作步骤： 1.A、B两台主机分别执行 ssh-keygen -t rsa ，然后连续按回车，直至操作完成，此时会在A、B两台主机下/root/.ssh目录下生产id_rsa和id_...
大数据调度平台Airflow（七）：Airflow分布式集群搭建原因及其他扩展
lisheng19870305的专栏
07-17 994
扩展Master后的Airflow集群中只能运行一个Scheduler，那么运行的Scheudler进程挂掉，任务同样不能正常调度运行，这种情况我们可以在两台机器上部署scheduler，只运行一台机器上的Scheduler进程，一旦运行Schduler进程的机器出现故障，立刻启动另一台机器上的Scheduler即可，这种就是SchdulerHA，我们可以借助第三方组件airflow-scheduler-failover-controller实现Scheduler的高可用。，从而分布式处理任务。...
airflow分布式部署踩坑记录之安装篇<1>
记录点滴成长......
07-20 4347
前言 airflow是一款基于python的开源任务流调度系统，但是关于airflow的安装教程比较匮乏。本人在亲自安装的过程中遇到了很多奇葩的问题，期间也参考了网上的各种资料，在此做下记录，以备不时之需。 系统环境 操作系统 Centos6.5 python 2.7.12 如果你拿到的是一台新安装了Centos6.5系统的机器，那么你可能要多做一些准备工作： 1.检查你的机...
airflow分布式部署踩坑记录之配置篇<2>
记录点滴成长......
07-20 5469
配置mysql作为元数据库 安装mysql &gt;: yum list | grep mysql &gt;: yum install -y mysql-server mysql 启动MySQL服务 &gt;:service mysqld start 重启MySQL服务 &gt;:service mysqld restart 停止MySQL服务 &gt;:service mysqld sto...
airflow分布式
weixin_42752585的博客
01-21 1406
参考文档:rabbitmq celery doc02 doc03 airflow任务实际开始时间 = start_date + sheduler_interval 本地环境 airflow 2.0.0 python3.7 airflow设置celery executor doc 启动celery的broker 和结果后端，我本地都是使用的redis # 这里启动RabbitMQ 或者Redis.... 我本地是redis ./Desktop/software/redis-6.0.9/src/redis-
airflow分布式部署踩坑记录之其他篇<3>
记录点滴成长......
07-20 3221
Q1:怎么进行分布式部署？ airflow celery采用的是消息队列的方式生产任务，分发任务和执行任务，所以想要进行分布式部署，只需要在不同机器上部署完全一样的airflow服务，在borker节点上开启airflow的webserver，scheduler，flower服务以及mysql服务和rabbitMQ服务，在其他机器上设置和borker节点上相同的配置信息，并且只开启worke...
Airflow分布式部署：Docker集群下的任务调度详解
总结来说，分布式任务调度部署的关键在于理解Airflow的工作原理，合理配置DAG和Task，利用Docker的集群特性来扩展和管理大规模的作业流程。同时，遵循良好的编程实践，如避免不必要的跨DAG依赖，有助于提高系统的...
AirFlow介绍
古强俊的博客
12-27 3020
文章目录AirFlow介绍一、AirFlow是什么1、优劣势分析二、AirFlow中的作业和任务1、DAG2、Task三、AirFlow的调度时间1、start_date2、schedule_interval3、execution_date四、AirFlow的核心概念五、AirFlow 各组件介绍1、webserver2、scheduler3、celery worker4、flower六、AirF...
Airflow+Dask扩展-分布式集群部署详细步骤
Acecai01的博客模板
12-29 2225
在安装部署之前，建议学习以下博客系列： https://www.jianshu.com/p/2ecef979c606 一、环境准备： 设备名 IP 系统 python mysql server 其他 VM01 192.168.72.130 CentOS release 7.7.1908 Anaconda3-2019.07-Linux-x8...
Airflow 实践笔记-从入门到精通三
Focus on Lakehouse
06-04 1674
数据处理逻辑多，脚本相互依赖强，运维管理监测难，怎么办？！为了解决这些问题，最近比较深入研究Airflow的使用方法，重点参考了官方文档和Data Pipelines with Apache Airflow，特此笔记，跟大家分享共勉。前面文章我们已经讲到了Airflow的搭建，DAG,Operator等特性，这篇文章主要讲述Airflow集群部署。集群部署airflow具...
Airflow2.2.3 + Celery + MYSQL 8构建一个健壮的分布式调度集群
Marionxue
01-05 2771
云原生生态圈 · 往期推荐云原生生态圈之玩转容器系列文章云原生生态圈之运维架构专辑文章云原生生态圈之DevOps理论与实践系列文章云原生生态圈之Kubernetes理论与实践系列文章云原生...
工作流管理框架airflow-安装部署教程
Trisyp的博客
01-18 3688
Airflow是一个以编程方式编写，用于管理和调度工作流的平台。可以帮助你定义复杂的工作流程,然后在集群上执行和监控这些工作流。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。Airflow的可扩展Python框架可以让你构建连接几乎任何技术的工作流程。丰富的用户界面可以随时查看生产中正在运行的管道，帮助你管理工作流程的状态，监视进度以及需要时对问题进行故障排除。
python工作流与业务流_Airflow：Python 工作流管理利器
weixin_39692847的博客
12-05 290
原标题：Airflow：Python 工作流管理利器本文来自作者 刘利强 投稿。原文：https://liuliqiang.info/post/airflow-the-workflow-in-python/Apache Airflow 是一个用于编排复杂计算工作流和数据处理流水线的开源工具。 如果您发现自己运行的是执行时间超长的 cron 脚本任务，或者是大数据的批处理任务，Airflow 可能是...
Airflow环境搭建
weixin_63881558的博客
03-23 2982
Airflow环境搭建
airflow 部署
12-28 187
环境 ： ubuntu 14.04 LTS python 2.7 script: 设置环境变量： export AIRFLOW_HOME=~/airflow 安装相关依赖包： sudo apt-get install python-dev sudo apt-get install python-numpy sudo pip install airflo...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值