chenzuoli的博客

没事写写，记录一下曾经的工作，新版airflow的搭建

airflow 2.3.0版本发布啦，来看看新特性。

标题: airflow的check机制介绍日期: 2021-12-18 11:26:14标签: [airflow,check]分类: 调度系统我们使用airflow的其中一个原因，就是管理任务流，及任务流之间的依赖关系。传统的任务调度，大概就是通过linux自带的crontab方式进行任务的定时调度，那么如果crontab任务过多，crontab表达式是按照顺序执行的，那么怎么完成复杂的依赖问题呢。airflow就可以解决复杂的依赖问题，任务流之间如何串行、并行执行，只需定义一个cront.

标题: 调度系统airflow和azkaban对比日期: 2021-12-07 23:08:24标签: [调度系统,airflow,azkaban]分类: 调度系统今天来对比下现在市面上开源的，用的比较多的两个调度系统airflow和azkaban的差别。直接看表格吧：功能AzkabanAirflow所有者linkedinairbnb开源给apachelicenseApache License, Version 2.0Apache License, Ve.

标题: Airflow安装详解日期: 2021-11-16 21:27:21标签: [airflow]分类: 调度系统在讲airflow安装之前，我们先来了解下airflow的架构，这有助于我们去理解安装的步骤到底是干嘛的。来看这篇文章：airflow架构我讲的airflow是1.10.14版本的哈。所以，如果我们搭建airflow是做大量的任务调度，那么就推荐元数据库使用mysql/postgresql，消息队列使用redis/rabbitmq。我以mysql和rabbitmq为例来.

标题: Airflow元数据表dag介绍日期: 2021-11-13 09:37:09标签: [airflow, dag]分类: 调度系统大家好，我是Lee。上次介绍了airflow的元数据表log，里面的主要字段event是干嘛的，怎么识别手动操作和系统操作，今天就说下dag表中的一些字段，是什么意思，该怎么用。我使用的airflow是1.10.14版本。先看下表结构：FieldTypeNullKeyDefaultExtradag_idvarchar(2.

标题: 如何理解airflow中的execution_date日期: 2021-11-11 20:55:45标签: [airflow]分类: 调度系统大家好，我是Lee，今天说下贯穿airflow调度系统的基础变量execution_date，它怎么理解。airflow调度单元是dag，每到dag该运行的时候，airflow就会启动一个dag_run实例，该实例存储在dag_run表中，这张表中的主键是：dag_id和execution_date，即表示每个dag在同一时刻，只能启动一个实例.

标题: airflow中log表详解日期: 2021-11-08 21:03:15标签: [airflow, log]分类: 调度系统上次介绍了airflow元数据库表的大致作用，是干什么的，存储了哪些信息，接下来，我们就来一个一个介绍，表里面的字段是什么意思，我们怎么使用。图片来自pexels这是表结构：fieldtypenullkeydefaultextraidint(11)NOPRI(NULL)auto_incrementdttmtim.

标题: airflow元数据库表详解日期: 2021-10-28 21:32:26标签: [airflow, 调度系统]分类: 调度系统airflow调度系统，基本介绍看这篇文章：https://chenzuoli.github.io/2021/10/16/airflow%E4%BB%8B%E7%BB%8D/airflow架构，看这篇文章：https://chenzuoli.github.io/2021/10/24/airflow%E6%9E%B6%E6%9E%84%E8%AF%A6%E8.

标题: airflow架构详解日期: 2021-10-24 09:26:43标签: [airflow,任务调度]分类: 任务调度关于airflow，大家应该很清楚它是干嘛的，怎么使用，那么它底层的调度原理到底是啥样的呢？我大概从2018年下半年，开始使用airflow，第一次使用时，是团队一起调研的，所以，从搭建，到基本使用，再到参数优化，都是经历过的。后面进入到另一家公司，也是由于我使用过airflow调度系统才找我进去的，所以会使用airflow调度系统，也算一个优势吧。在这家公司的话，.

标题: airflow介绍日期: 2021-10-16 09:14:58标签: [airflow,调度系统]分类: 调度系统airflow是一个基于python的轻量级调度系统，管理crontab表达式进行任务的调度，我们只需要编写相对应的python脚本，即可完成任务的调度。目前airflow已经与各关系型数据库（mysql oracle postgresql等）、大数据相关数据库组件（hive hbase es等）建立了联系，旨在更流畅地完成任务的调度，也可以自定义相关operator，.