大数据 通用 调度系统 的设计和实现

目标：

调度的业务类型是针对ETL数据抽取任务、个性化推荐的离线任务、每天的报表、每周的统计报表、月级别的统计报表等，小时级的日志清洗任务等 能够按照用户的配置，准时进行调度。

调度的任务主要是一些脚本文件还有mr写的jar包程序。任务内部存在子任务的依赖关系，这种依赖关系形成DAG图，在调度系统中能够严格的按照依赖关系对任务进行调度执行。

整个调度系统有前端和后台两个部分，前端支持任务的创建配置，每天跑的实例的查看，新建任务的审核、邮件组的配置、以及分布式提交机的配置等几个大的方面。

在任务创建这部分，用户可以对代码git 路径进行配置 然后调度系统会拉取代码，然后按照用户的启动脚本对代码进行执行。执行完毕后删除掉该任务，自定义的日志信息会转出到用户的执行环境目录下。任务的隔离<