airflow架构

最新推荐文章于 2023-11-08 05:00:00 发布

IDONTCARE8

最新推荐文章于 2023-11-08 05:00:00 发布

阅读量119

点赞数

分类专栏：大数据学习

本文链接：https://blog.csdn.net/m0_37556124/article/details/119181607

版权

大数据学习专栏收录该内容

13 篇文章 10 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了在Linux环境下安装Python 3.x、MySQL、Redis以及Airflow的步骤，包括环境配置、数据库创建、服务启动等。重点讲解了Airflow的分布式部署，包括设置Executor、启动服务、管理界面以及DAG的运行流程。最后，概述了Airflow的分布式架构和核心组件。

摘要由CSDN通过智能技术生成

提示：linux系统默认python2.7 有些软件安装需要python3.x支持，此文介绍如何升级python到3.x

airflow api地址：https://airflow.apache.org/docs/apache-airflow/1.10.1/scheduler.html

文章目录

一、安装python环境
二、安装mysql
三、安装redis
四、安装ariflow

一、安装python环境

1、安装依赖

yum install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev curl libbz2-dev

2、下载安装包

#wget https://www.python.org/ftp/python/3.7.10/Python-3.7.10.tar.xz
wget https://zhengyansheng.oss-cn-beijing.aliyuncs.com/Python-3.7.10.tar.xz
tar xf Python-3.7.10.tar.xz
cd Python-3.7.10

3、编译&安装python源码包

这里一定要带

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

IDONTCARE8

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

大数据调度平台Airflow（二）：Airflow架构及原理

Lansonli（蓝深李）的博客

03-20

2432

目录 Airflow架构及原理一、Airflow架构二、Airflow术语三、Airflow工作原理 Airflow架构及原理一、Airflow架构 Airflow我们可以构建Workflow工作流，工作流使用DAG有向无环图来表示，DAG指定了任务之间的关系，如下图： Airflow架构图如下： Airflow在运行时有很多守护进程，这些进程提供了airflow全部功能，守护进程包括如下： webserver： WebServer服务器可以接收HTTP请求，用于提.

arm64 环境利用 docker 编译redis filebeat airflow hue 以及 alertmanager 镜像

以梦为马|越骑越傻

05-09

1422

文章目录先准备一个编译环境压压惊部署 docker准备镜像编译 redis其他细节`GLIBC_2.28' not found编译 make编译 glibc 2.8编译 filebeat安装 airflow升级 sqlite3编译 hue安装相关依赖安装 nodejs开始编译报错1报错2报错3报错4制作 alertmanager 镜像先准备一个编译环境压压惊首先要有一个 docker 部署 docker wget https://download.docker.com/linux/static/st

参与评论您还未登录，请先登录后发表或查看评论

airflow架构详解

chenzuoli的博客

10-26

2289

标题: airflow架构详解日期: 2021-10-24 09:26:43 标签: [airflow,任务调度] 分类: 任务调度关于airflow，大家应该很清楚它是干嘛的，怎么使用，那么它底层的调度原理到底是啥样的呢？我大概从2018年下半年，开始使用airflow，第一次使用时，是团队一起调研的，所以，从搭建，到基本使用，再到参数优化，都是经历过的。后面进入到另一家公司，也是由于我使用过airflow调度系统才找我进去的，所以会使用airflow调度系统，也算一个优势吧。在这家公司的话，.

Airflow架构与扩容

Laurence的技术博客

11-08

1155

- Scheduler：生成作业排期，将各种Task提交给executor实行 - Executor：是一个偏抽象的概念，落地可以是多种不同的形式，但逻辑上，Executor扮演一个“队列”的角色，Scheduler生成的Task都会放入Executor（队列）中，由Executor委派给各个Worker节点执行，从这个角度上看，Scheduler是Task队列的生产者，Worker是Task队列的消费者。 - Worker：实际执行任务的节点，与多数主从架构中的Worker节点类似。

Apache Airflow (一) ： Airflow架构、术语、工作原理

qq_32020645的博客

11-08

4377

Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。Airflow采用Python语言编写，提供可编程方式定义DAG工作流，可以定义一组有依赖的任务，按照依赖依次执行，实现任务管理、调度、监控功能。

Airflow基础架构简介

怒放的生命

09-16

3953

Aireflow 处理依赖的方式 Airflow的核心概念，是DAG(有向无环图)，DAG由一个或多个TASK组成，而这个DAG正是解决了任务间的依赖问题。Task A 执行完成后才能执行 Task B，多个Task之间的依赖关系可以很好的用DAG表示完善。 Airflow完整的支持crontab表达式，也支持直接使用python的datatime表述时间，还可以用datatime的delta表述...

大数据调度平台 Airflow（二）：Airflow 架构及原理

wr_java的博客

04-17

1367

Airflow 我们可以构建 Workflow 工作流，工作流使用 DAG 有向无环图来表示，DAG 指定了任务之间的关系，如下图：Airflow 架构图如下：Airflow 在运行时有很多守护进程，这些进程提供了 airflow 全部功能，守护进程包括如下：webserver：WebServer 服务器可以接收 HTTP 请求，用于提供用户界面的操作窗口，主要负责中止、恢复、触发任务；监控任务；断点续跑任务；查询任务状态、详细日志等。

airflow 基础入门

owisho_java的专栏

09-06

561

airflow 基础

airflow整体架构

Ran

10-29

4391

run命令运行过程读取dag文件生成task依赖关系，然后生成封装airflow run的command命令，通过celery发送到executor端，重新执行该airflow run命令。 scheduler命令运行过程：调度器通过SchedulerJob类run方法执行整个流程，包括使用多进程处理DagDir，包括生成Dag，产生DagRun，每个DagRun下又生成多个TaskInsta...

高级Java人才培训专家-第七章：一站制造：任务流调度AirFlow

最新发布

03-09

- **工作节点**：独立的流程，与Airflow架构的其他组件进行交互，执行具体的任务。 - **配置文件**：`airflow.cfg` 是配置文件，包含了Airflow的各种设置。 - **DAG文件**：定义了数据管道的结构和逻辑，每个DAG文件...

数据中台之流程引擎：Airflow详解

GIS摆渡人

07-12

1490

一. 简介 Airflow 是一个使用 Python 语言编写的 Data Pipeline 调度和监控工作流的平台。分布式任务调度框架 Airflow 是通过 DAG（Directed acyclic graph 有向无环图）来管理任务流程的任务调度工具，不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度。这个平台拥有和 Hive、Presto、MySQL、HDFS、Postgres 等数据源之间交互的能力，并且提供了钩子（hook）使其拥有很好地扩展性。除了使用命令行，该工具还提供了一

spark开发demo

m0_37556124的博客

04-15

2896

spark-demo object Demo { def main(args:Array[String]):Unit = { val confPath = if(arg.length > 0) args(0) else "" val config = Configuration(confPath) config.setLogInfo() val spark:SparkSession = CommonUtils.getSpark(config.is_local, s"${this

离线数仓datax+shell+airflow调度

m0_37556124的博客

04-14

2318

airflow+shell离线数仓airflow+shell离线数仓调度外部配置文件编写airflow调度脚本编写shell脚本将历史数据重新分区编写datax脚本 airflow+shell离线数仓调度外部配置文件 1.将数据库连接等放入配置文件中 config.py ROOT_DIR = /home/dag/airflow/dags config.sh BUSS_IP="10.10.1.1" BUSS_PORT="3306" BUSS_USER="user" BUSS_PWD="pwd" BUSS_

spark-sql按时间间隔分组统计

m0_37556124的博客

11-20

2197

准备测试数据集 val df = Seq( ("001", 1, 10, "2021-11-20 11:50:41"), ("002", 1, 40, "2021-11-20 11:50:43"), ("004", 1, 20, "2021-11-20 11:50:52"), ("005", 1, 20, "2021-11-20 11:50:52"), ("003", 1, 80, "2021-11-20 11:50:45"), ("0

Spark聚合算子

m0_37556124的博客

10-28

1513

reduceByKey import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object ReduceByKeyDemo { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setAppName("ReduceByKeyDemo").setMaster("local[*]")

ClickHouse-实践之路

m0_37556124的博客

03-10

816

clickhouse各版本下载地址https://repo.clickhouse.com/deb/stable/main/ ClickHouse安装教程版本说明 clickhouse版本重要节点 - 20.5 final - 20.6.3 explain - 20.8 出来一个库引擎支持实时同步mysql 本文安装采用版本如下 - clickhouse-client_21.7.3.14_all.deb - clickhouse-common-static_21.7.3.14_a

ElasticSearch+Kibana使用DSL语法

m0_37556124的博客

10-23

580

练习 1.查看节点 GET /_cat/nodes?v ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name 172.26.252.173 64 24 0 0.02 0.04 0.05 mdi - node-1 172.26.252.172 15 24 0

SparkStreaming+Kafka手动维护kafka的偏移量

m0_37556124的博客

10-28

517

ssc从kafka读取数据 1.主入口函数 def main(args: Array[String]): Unit = { val ssc: StreamingContext = StreamingContext.getActiveOrCreate("./ck2", () => createingFunc) ssc.start() ssc.awaitTermination() } 2.初始化ssc def createingFunc(): StreamingConte

airflow使用教程

09-22

- 它提供了一个可扩展的架构，可以在分布式环境中运行和调度大型数据流程。 - Airflow Platform支持以代码的方式定义和编排任务，提供了灵活的计划和调度功能，以及丰富的监控和管理工具。 4. Airflow的数据分析...