![](https://img-blog.csdnimg.cn/20190918140213434.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
airflow
文章平均质量分 91
大数据组件之任务编排系统
一切如来心秘密
目前从事大数据领域后台开发,完善数据平台相关产品生态,包括数据开发平台,数据质量,元数据系统,离线调度系统,标签系统,统一权限管理系统等产品的设计与研发工作。
学有涯而知无涯,在技术上保持谦卑,在生活中一路高歌,记录点滴,不忘初心,方得始终~
展开
-
airflow metrics 监控部署(grafana+ prometheus)
本文主要总结了 airflow metrics 监控部署的方案以及个人经验分享。指标监控采用的是业界比较成熟的 prometheus + grafana 的方案。原创 2023-07-04 11:09:29 · 1851 阅读 · 2 评论 -
airflow v2.6.0 k8s 部署(Rancher)
将 airflow 部署在 k8s 上有多种部署方式,官方也提供了对应的 k8s executor, 但是本文介绍的是使用 CeleryExecutor 部署 k8s 的方式,分别将 scheduler, webserver, flower, worker 部署在 k8s 上。通过 Rancher 部署 yaml 的形式,使部署方式简单了很多,也可以通过命令的方式部署。原创 2023-06-19 19:45:48 · 2531 阅读 · 9 评论 -
airflow 自定义 operator 开发
airflow 为了保证系统功能的单一性和灵活性,并没有提供过多 operator,而是以插件的形式对外提供,用户根据自己的需要开发符合自身业务的 operator, 本文主要讲了在生产中operator 的使用需求场景,以及开发流程。原创 2023-06-19 19:56:18 · 810 阅读 · 0 评论 -
airflow v2.6.0 Docker Compose 部署
本文主要记载 airflow 容器化部署步骤以及需要注意的事项。原创 2023-06-19 19:49:02 · 1880 阅读 · 0 评论 -
airflow 源码调试之源码运行(一)
airflow 源码调试之源码运行(一)开发环境windows上的ubuntu16.0虚拟机Python3.8调试准备Pycharm 配置远程连接主机配置使用远程主机Python解释器没有配置过的可以查看我这篇文章Pycharm配置使用远程解释器调试远程代码1.拉取源码从GitHub上拉取airflow 的最新源码:https://github.com/apache/airflow.git关于airflow版本 与 对应Python 版本,数据库版本等依赖的关系可以从Gi原创 2021-06-07 08:42:58 · 4124 阅读 · 5 评论