先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7
深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
正文
| 依赖 | PostgreSQL 8.2.15+ or mysql 5.6+，jdk 1.8+ ,ZooKeeper 3.4.6+，Hadoop 2.6+ or MinIO（选装， 如果需要用到资源上传功能，针对单机可以选择本地文件目录作为上传文件夹(此操作不需要部署Hadoop)；当然也可以选择上传到Hadoop or MinIO集群上） | mysql 5.7+，jdk 1.7+ ，maven 3.0+ |
| 单点故障 | 去中心化的多Master和多Worker | 是，单一调度程序 |
| HA要求 | 不需要（本身就支持HA） | 支持 |
| 过载处理 | 任务队列机制，单个机器上可调度的任务数量可以灵活配置，当任务过多时会缓存在任务队列中，不会造成机器卡死 | 暂无 |
| DAG监控界面 | 任务状态、任务类型、重试次数、任务运行机器、可视化变量等关键信息一目了然 | 支持简单的子任务和任务依赖，不支持完整的DAG任务 |
| 可视化流程定义 | 是，所有流程定义操作都是可视化的，通过拖拽任务来绘制DAG,配置数据源及资源。同时对于第三方系统，提供api方式的操作。 | 支持简单的指定子任务 |
| 监控告警 | 支持 | 支持 |
| 是否能暂停和恢复 | 支持暂停，恢复操作 | 不支持 |
| 是否支持多租户 | 支持，easyscheduler上的用户可以通过租户和hadoop用户实现多对一或一对一的映射关系，这对大数据作业的调度是非常重要的。 | 不支持 |
| 日志可追溯 | 实现每个任务实例生成一个日志文件，以/流程定义id/流程实例id/任务实例id.log的形式生成日志 | 支持日志查看，同时支持jstack和gc log备份到executor日志目录(executor版本大于3.0.0) |
| 任务类型 | Shell，MR，Spark，Flink，SQL（mysql，postgresql，hive，sparksql，clickhouse等），DataX，Sqoop，Python，Sub_Process，Procedure | 支持以GLUE模式开发和运行脚本任务，包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本 |
| 与大数据契合度 | 支持大数据作业spark,hive,mr的调度，同时由于支持多租户，与大数据业务更加契合 | 不大行 |
| 是否支持集群扩展 | 是，调度器使用分布式调度，整体的调度能力会随便集群的规模线性增长，Master和Worker支持动态上下线 | 是 |
| 部署运维 | 简单，一键部署，支持k8s | 简单，只需要部署多个Java服务，有官方实时提供的docker镜像 |
| GitHub上star数 | 4.7k | 16.3k |
| 2020 年度 OSC 中国开源项目评选 | 675 | 637 |
| License | Apache License 2.0 | GNU General Public License v3.0 |
| 文档 | 完善 | 完善 |
| 社区 | 活跃，更新快 | 活跃，更新快 |
| 开源时间 | 2019.9 | 2015.12 |
| 开源组织 | 易观开源，Apache | 大众点评 |
架构图
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
9889
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
