工作流调度平台
文章平均质量分 65
取啥名字好�
这个作者很懒,什么都没留下…
展开
-
Airflow学习之路五 Airflow性能优化(airflow.cfg配置)
Airflow2.0版本[core][logging][webserver][scheduler][core]# dags存放路径dags_folder = /home/xxx/airflow/dags# 获取服务器IP的方式hostname_callable = socket.getfqdn# 时区,可以是UTC(默认),也可以换成国内Asia/Shanghaidefault_timezone = utc# airflow支持并行性的工作器,有`SequentialExecutor`(默认原创 2021-03-08 15:30:31 · 1587 阅读 · 0 评论 -
Airflow学习之路四 Scheduler时间调度
概念文档1中有如下几句话:The first DAG Run is created based on the minimum start_date for the tasks in your DAG. Subsequent DAG Runs are created by the scheduler process, based on your DAG’s schedule_interval, sequentially.If you run a DAG on a schedule_interval o原创 2021-03-03 14:45:04 · 1691 阅读 · 0 评论 -
Airflow学习之路三 airflow最佳实践
在airflow官方文档1中不推荐使用动态的start_date。start_date是前DagRun部分遗留,但仍然运用在许多方面。当创建了一个新的DAG时, 对于你的任务可能需要使用default_args来设置一个全局的start_date。建立的第一个DagRun将会基于所有任务中最小的(start_date)。从那时起,调度程序将会根据你的schedule_interval 来建立新的DagRun,并且在满足所设立的依赖时运行相应的任务实例。将新任务引入DAG时,需要特别注意start_date翻译 2021-03-02 16:57:16 · 649 阅读 · 0 评论 -
Airflow学习之路二 task状态关系
1原创 2021-03-01 14:20:53 · 2512 阅读 · 0 评论 -
Airflow学习之路一 概念
Airflow学习之路一 概念Concept IntroductionDAGSDefault ArgumentsDAG Runsexecution_dateOperatorsTasksTask InstancesDAGSDAG是一个由n(n⩾1n\geqslant1n⩾1)个task构成的有向无环图。它记录了任务之间的逻辑关系,调度时间,任务状态等等。Default Arguments以字典的形式将参数传入DAG中。官方文档1中将参数统一放置于default_args中,其适用于任意实例化运算符翻译 2021-03-01 14:14:33 · 178 阅读 · 0 评论