| 依赖 | PostgreSQL 8.2.15+ or mysql 5.6+,jdk 1.8+ ,ZooKeeper 3.4.6+,Hadoop 2.6+ or MinIO(选装, 如果需要用到资源上传功能,针对单机可以选择本地文件目录作为上传文件夹(此操作不需要部署Hadoop);当然也可以选择上传到Hadoop or MinIO集群上) | mysql 5.7+,jdk 1.7+ ,maven 3.0+ |
| 单点故障 | 去中心化的多Master和多Worker | 是,单一调度程序 |
| HA要求 | 不需要(本身就支持HA) | 支持 |
| 过载处理 | 任务队列机制,单个机器上可调度的任务数量可以灵活配置,当任务过多时会缓存在任务队列中,不会造成机器卡死 | 暂无 |
| DAG监控界面 | 任务状态、任务类型、重试次数、任务运行机器、可视化变量等关键信息一目了然 | 支持简单的子任务和任务依赖,不支持完整的DAG任务 |
| 可视化流程定义 | 是,所有流程定义操作都是可视化的,通过拖拽任务来绘制DAG,配置数据源及资源。同时对于第三方系统,提供api方式的操作。 | 支持简单的指定子任务 |
| 监控告警 | 支持 | 支持 |
| 是否能暂停和恢复 | 支持暂停,恢复操作 | 不支持 |
| 是否支持多租户 | 支持,easyscheduler上的用户可以通过租户和hadoop用户实现多对一或一对一的映射关系,这对大数据作业的调度是非常重要的。 | 不支持 |
| 日志可追溯 | 实现每个任务实例生成一个日志文件,以/流程定义id/流程实例id/任务实例id.log的形式生成日志 | 支持日志查看,同时支持jstack和gc log备份到executor日志目录(executor版本大于3.0.0) |
| 任务类型 | Shell,MR,Spark,Flink,SQL(mysql,postgresql,hive,sparksql,clickhouse等),DataX,Sqoop,Python,Sub_Process,Procedure | 支持以GLUE模式开发和运行脚本任务,包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本 |
| 与大数据契合度 | 支持大数据作业spark,hive,mr的调度,同时由于支持多租户,与大数据业务更加契合 | 不大行 |
| 是否支持集群扩展 | 是,调度器使用分布式调度,整体的调度能力会随便集群的规模线性增长,Master和Worker支持动态上下线 | 是 |
| 部署运维 | 简单,一键部署,支持k8s | 简单,只需要部署多个Java服务,有官方实时提供的docker镜像 |
| GitHub上star数 | 4.7k | 16.3k |
| 2020 年度 OSC 中国开源项目评选 | 675 | 637 |
| License | Apache License 2.0 | GNU General Public License v3.0 |
| 文档 | 完善 | 完善 |
| 社区 | 活跃,更新快 | 活跃,更新快 |
| 开源时间 | 2019.9 | 2015.12 |
| 开源组织 | 易观开源,Apache | 大众点评 |
架构图
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
备注大数据获取)**
[外链图片转存中…(img-9X7Qo0IE-1712900746858)]