深入大数据平台心脏：饿了么调度系统全解

本文原创首发于DBAPlus社群线上，地址 https://mp.weixin.qq.com/s/57h3IwMzLgxE_wrrqz_9HA

背景

• 随着饿了么在大数据应用的不断深入，需要解决任务数量增长快 ，任务多样化，任务关系复杂，任务执行效率低，任务失败不可控等问题。

目前现状

• 每天完成大数据任务计算54000+
• 节点集群85台

开源解决方案

• Ooize是基于工作流调度引擎，是雅虎的开源项目，属于java web应用程序。由Oozie client和Oozie Server两个组件构成。Oozie Server运行于Java Servlet容器（Tomcat）中的web程序。工作流必须是一个有向无环图，实际上Oozie就相当于Hadoop的一个客户端，当用户需要执行多个关联的MR任务时，只需要将MR执行顺序写入workflow.xml，然后使用Oozie提交本次任务，Oozie会托管此任务流。