Airflow大揭秘:如何让大数据任务调度变得简单高效?

介绍:Airflow是一个开源的、用于创建、调度和监控数据管道的工作流平台。这个平台使用Python编写,并通过有向无环图(Directed Acyclic Graph, DAG)来管理任务流程,使得用户不需要知道业务数据的具体内容,只需设置任务之间的依赖关系,即可实现任务的自动调度。
在具体应用中,例如"吃包子流",从购买原材料到制作、蒸煮、上盘乃至食用,这一系列的过程就构成了一个“吃包子流”,也就是一个工作流程。Airflow能够与多种数据源进行交互,包括Hive、Presto、MySQL、HDFS、Postgres等,这使得其具有广泛的应用场景。

1、Airflow官方网站

网址:https://airflow.apache.org/

1.1 介绍

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2 学习文档

在这里插入图片描述
在这里插入图片描述

2、Airflow 1.10.2 中文文档

网址:https://airflow.apachecn.org/zh/profiling/

2.1 介绍

在这里插入图片描述
在这里插入图片描述

2.2 数据分析

在这里插入图片描述

3、segmentfault网站

网址:https://segmentfault.com/a/1190000039923621

3.1 学习文档

在这里插入图片描述
在这里插入图片描述

3.2 学习文档

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4、学习视频推荐

1、尚硅谷大数据Airflow教程(airflow安装/部署/优化/案例)
网址:https://www.bilibili.com/video/BV1914y1M7u6/?spm_id_from=333.337.search-card.all.click&vd_source=849186cc0cbe77dd51dcd8d1dc63a69b
在这里插入图片描述
在这里插入图片描述
以上就是个人觉得不错的学习网站,希望能帮到学习大数据的人!

  • 8
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值