![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
任务调度
Quinto0
Learning is the highest
展开
-
DolphinScheduler对比Airflow
DolphinScheduler AirFlow稳定性 单点故障 去中心化的多Master和多Worker 是(单一调度程序)HA额外要求 不需要(本身就支持HA) Celery / Dask / Mesos + Load Balancer + DB过载处理 任务队列机制,单个机器上可调度的任务数量可以灵活配置,当任务过多时会缓存在任务队列中,不会造成机器卡死 任务太多时会卡死服务器易用性 DAG监控界面 任务状态、任务类型、重试次数、任务运行机器、可视化变量等关键信息一目了然 不能直观区分任务.原创 2020-09-25 13:54:10 · 9310 阅读 · 2 评论 -
Airflow简介
1、什么是Airflow Airflow 是一个 Airbnb 的 Workflow 开源项目,使用Python编写实现的任务管理、调度、监控工作流平台。Airflow 是基于DAG(有向无环图)的任务管理系统,可以简单理解为是高级版的crontab,但是它解决了crontab无法解决的任务依赖问题。与crontab相比Airflow可以方便查看任务的执行状况(执行是否成功、执行时间、执行依 赖等),可追踪任务历史执行情况,任务执行失败时可以收到邮件通知,查看错误日志。2、Airflow与同类产品的原创 2020-05-17 18:22:43 · 38470 阅读 · 1 评论