![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AIRFLOW
peking1987
这个作者很懒,什么都没留下…
展开
-
airflow scheduler如何将task提交给worker执行
1. 提交路径:从SchedulerJob类中的def _execute_helper(self)方法中的self.executor.heartbeat()开始看 到BaseExecutor类的def heartbeat(self)方法: def heartbeat(self): # Triggering new jobs if not self.par...原创 2019-11-06 11:10:02 · 1230 阅读 · 0 评论 -
Airflow的dag的解析方法
从Job.py SchedulerJob类的_execute方法开始 def _execute(self): self.log.info("Starting the scheduler") # DAGs can be pickled for easier remote execution by some executors pickle...原创 2019-10-30 15:33:00 · 2482 阅读 · 0 评论 -
AIRFLOW使用总结
由于机器学习各流程时长较长,并且流程比较复杂,经过选型对比,决定选用airflow作为流程调度器 一、选型对比 网上有较详细的各种流程调度器特性对比:https://www.jdon.com/workflow/Airflow-vs-Azkaban-vs-Conductor-vs-Oozie-vs-Amazon-Step-Functions.html 个人选择airlfow作为机器学习流程调...原创 2019-10-20 10:55:04 · 5651 阅读 · 0 评论