airflow分布式部署、参数配置、优劣势分析、工程经验

最新推荐文章于 2024-08-16 09:31:36 发布
最新推荐文章于 2024-08-16 09:31:36 发布
阅读量1.1w 收藏 16
点赞数 4
文章标签： 分布式架构 参数配置 优劣势 工程经验 airflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haofangasd/article/details/83045432
版权
本文分享了Airflow分布式部署的经验，包括参数配置、调度与业务代码分离，并分析了其优劣势。在实践中，分布式部署需要注意dag的一致性，避免业务耦合，同时指出了可能的错误及后果。
摘要由CSDN通过智能技术生成

这是第一篇博客，内容很简单，主要是记录工作中遇到的关于airflow分布式方面的经验。意义在于学习博客的使用，让自己养成技术博客的习惯。

目录

优劣势分析

分布式部署架构简析

分布式参数

调度、业务代码分离

注意事项

优劣势分析

airflow是一个编排、调度和监控workflow的平台，是一个工作任务的调度平台，其内置了比较全面实用的调度功能。下表列出了实际场景下，使用airflow和未使用airflow的对比。

未使用airflow

使用airflow
需要自己添加调度代码、调试复杂、功能单一、缺乏整体调度能力 框架调度，简单易用，更稳定，功能全面，可以整体调度
缺乏图形化能力，给任务的新增、排查等操作带来很多困难。特别是当任务较多，结构复杂的时候 内置树状图和流程图，清晰明了的展现任务拓扑结构
需要自己添加任务实时监测代码 任务实时状态返回网页界面，方便管理和查看
任务的各种操作大多需要编码或命令行完成，不够高
最低0.47元/天 解锁文章
haofangasd
关注
大数据调度平台Airflow（八）：Airflow分布式集群搭建及测试
Lansonli（蓝深李）的博客
04-02 9353
目录 Airflow分布式集群搭建及测试 一、节点规划 二、airflow集群搭建步骤 1、在所有节点安装python3.7 2、在所有节点上安装airflow 三、初始化Airflow 1、每台节点安装需要的python依赖包 2、在node1上初始化Airflow 数据库 四、​​​​​​​创建管理员用户信息 五、​​​​​​​配置Scheduler HA 1、下载failover组件 2、使用pip进行安装failover需要的依赖包 3、node1节点初始化failover
airflow分布式部署
Gzigithub的博客
01-03 5089
1、首先将服务器之间设置免密 现需要有A,B,C(假设IP地址为192.168.x.xxx)三台服务器，要求A,B可以同时免密登录到服务器C，服务器C作为master，另外两台作为worker 操作步骤： 1.A、B两台主机分别执行 ssh-keygen -t rsa ，然后连续按回车，直至操作完成，此时会在A、B两台主机下/root/.ssh目录下生产id_rsa和id_...
Airflow Dashboards 项目教程
最新发布
gitblog_00756的博客
08-16 337
Airflow Dashboards 项目教程 airflow-dashboardsGrafana dashboards and StatsD exporter config for Airflow monitoring项目地址:https://gitcode.com/gh_mirrors/ai/airflow-dashboards 项目介绍 Airflow Dashboards 是一个用于监控...
大数据调度平台Airflow（七）：Airflow分布式集群搭建原因及其他扩展
lisheng19870305的专栏
07-17 975
扩展Master后的Airflow集群中只能运行一个Scheduler，那么运行的Scheudler进程挂掉，任务同样不能正常调度运行，这种情况我们可以在两台机器上部署scheduler，只运行一台机器上的Scheduler进程，一旦运行Schduler进程的机器出现故障，立刻启动另一台机器上的Scheduler即可，这种就是SchdulerHA，我们可以借助第三方组件airflow-scheduler-failover-controller实现Scheduler的高可用。，从而分布式处理任务。...
airflow分布式部署踩坑记录之安装篇<1>
记录点滴成长......
07-20 4321
前言 airflow是一款基于python的开源任务流调度系统，但是关于airflow的安装教程比较匮乏。本人在亲自安装的过程中遇到了很多奇葩的问题，期间也参考了网上的各种资料，在此做下记录，以备不时之需。 系统环境 操作系统 Centos6.5 python 2.7.12 如果你拿到的是一台新安装了Centos6.5系统的机器，那么你可能要多做一些准备工作： 1.检查你的机...
airflow分布式部署踩坑记录之配置篇<2>
记录点滴成长......
07-20 5451
配置mysql作为元数据库 安装mysql &gt;: yum list | grep mysql &gt;: yum install -y mysql-server mysql 启动MySQL服务 &gt;:service mysqld start 重启MySQL服务 &gt;:service mysqld restart 停止MySQL服务 &gt;:service mysqld sto...
AirFlow介绍
古强俊的博客
12-27 2983
文章目录AirFlow介绍一、AirFlow是什么1、优劣势分析二、AirFlow中的作业和任务1、DAG2、Task三、AirFlow的调度时间1、start_date2、schedule_interval3、execution_date四、AirFlow的核心概念五、AirFlow 各组件介绍1、webserver2、scheduler3、celery worker4、flower六、AirF...
分布式任务调度框架airflow介绍
Marionxue
01-04 6084
airflow Airflow是一个分布式任务调度框架，可以把具有上下级依赖关系的工作流组装成一个有向无环图; 有向无环图长得就如下一般： 说的云里雾里的，那么Airflow究竟是什么呢？简单说，airflow就是一个平台，你可以在这个平台上创建、管理、执行自定义的工作流，这里的工作流就是前面所说的有向无环图，如上图所示一样，有向无环图是由一系列单独运行的task组合而成，任务之间的前后排列取决于任务之间处理的关系或者数据的流转的方向，而这里的工作流有一个很专业的名字叫DAG(Directed Acycl.
Airflow+Dask扩展-分布式集群部署详细步骤
Acecai01的博客模板
12-29 2180
在安装部署之前，建议学习以下博客系列： https://www.jianshu.com/p/2ecef979c606 一、环境准备： 设备名 IP 系统 python mysql server 其他 VM01 192.168.72.130 CentOS release 7.7.1908 Anaconda3-2019.07-Linux-x8...
Airflow 实践笔记-从入门到精通三
Focus on Lakehouse
06-04 1613
数据处理逻辑多，脚本相互依赖强，运维管理监测难，怎么办？！为了解决这些问题，最近比较深入研究Airflow的使用方法，重点参考了官方文档和Data Pipelines with Apache Airflow，特此笔记，跟大家分享共勉。前面文章我们已经讲到了Airflow的搭建，DAG,Operator等特性，这篇文章主要讲述Airflow集群部署。集群部署airflow具...
Airflow2.2.3 + Celery + MYSQL 8构建一个健壮的分布式调度集群
Marionxue
01-05 2665
云原生生态圈 · 往期推荐云原生生态圈之玩转容器系列文章云原生生态圈之运维架构专辑文章云原生生态圈之DevOps理论与实践系列文章云原生生态圈之Kubernetes理论与实践系列文章云原生...
工作流管理框架airflow-安装部署教程
Trisyp的博客
01-18 3355
Airflow是一个以编程方式编写，用于管理和调度工作流的平台。可以帮助你定义复杂的工作流程,然后在集群上执行和监控这些工作流。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。Airflow的可扩展Python框架可以让你构建连接几乎任何技术的工作流程。丰富的用户界面可以随时查看生产中正在运行的管道，帮助你管理工作流程的状态，监视进度以及需要时对问题进行故障排除。
python工作流与业务流_Airflow：Python 工作流管理利器
weixin_39692847的博客
12-05 277
原标题：Airflow：Python 工作流管理利器本文来自作者 刘利强 投稿。原文：https://liuliqiang.info/post/airflow-the-workflow-in-python/Apache Airflow 是一个用于编排复杂计算工作流和数据处理流水线的开源工具。 如果您发现自己运行的是执行时间超长的 cron 脚本任务，或者是大数据的批处理任务，Airflow 可能是...
Airflow环境搭建
weixin_63881558的博客
03-23 2860
Airflow环境搭建
airflow 部署
12-28 172
环境 ： ubuntu 14.04 LTS python 2.7 script: 设置环境变量： export AIRFLOW_HOME=~/airflow 安装相关依赖包： sudo apt-get install python-dev sudo apt-get install python-numpy sudo pip install airflo...
Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）_apache airflow教程(1)
2401_84253850的博客
05-07 1085
①了解行业相关背景，前景，确定发展方向。②学习网络安全相关法律法规。③网络安全运营的概念。④等保简介、等保规定、流程和规范。（非常重要）①渗透测试的流程、分类、标准②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等①Windows系统常见功能和命令。
Airflow调度工具简介和使用
清平乐的技术专栏
05-21 1035
Airflow是airbnb家的基于DAG(有向无环图)的任务管理系统, 最简单的理解就是一个高级版的crontab。它解决了crontab无法解决的任务依赖问题。 本文将介绍 Airflow 这一款优秀的调度工具。主要包括 Airflow 的服务构成、Airflow 的 Web 界面、DAG 配置、常用配置等。 一、什么是 Airflow Airflow 是 Airbnb 开源的一个用 Python 编写的调度工具。于 2014 年启动，2015 年春季开源，2016 年加入 Apache 软件基金会的孵
Airflow分布式部署：Docker集群下的任务调度详解
总结来说，分布式任务调度部署的关键在于理解Airflow的工作原理，合理配置DAG和Task，利用Docker的集群特性来扩展和管理大规模的作业流程。同时，遵循良好的编程实践，如避免不必要的跨DAG依赖，有助于提高系统的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值