第一阶段: java基础核心
1 深入理解Java面向对象思想
2 掌握开发中常用基础API
3 熟练使用集合框架、IO流、异常
4 能够基于JDK8开发
5 熟练使用MySQL,掌握SQL语法
重要技术清单:
java 基础语法:
@分支结构if/switch、循环结构for/while/do while
@方法重载,数组的使用,命令行的参数,可变参数
@方法声明和调用,参数传递
IDEA:
IDEA常用设置、常用快捷键、自定义模板、关联Tomcat、Web项目案例实操
面向对象编程:
@封装、继承、多态
@构造器、包
@super、this、Object类
@异常处理机制
@抽象类、接口、内部类
@枚举、注解、代理设计模式
@工厂设计模式、模板设计模式
@面向对象高级应用
@常用基础API、集合List/Set/Map、泛型、线程的创建和启动
@深入集合源码分析、常见数据结构解析
@线程的安全、同步和通信、IO流体系、反射、类的加载机制、网络编程
Java8-17新特性:
@Lambda表达式、方法引用、构造器引用、StreamAPI
@jShell(JShell)命令、接口的私有方法、Optional加强
@局部变量的类型推断、更简化的编译运行程序等
mysql:
DML语言、DDL语言、DCL语言
@分组查询、Join查询、子查询、Union查询、函数
@流程控制语句、事务的特点、事务的隔离级别等
@索引和优化、存储引擎、锁机制、高可用设计、集群
@分库分表、主从复制、视图
@存储过程、触发器、自定义函数等
JDBC:
@使用JDBC完成数据库增删改查操作、批处理的操作
@数据库连接池的原理及应用
@常见数据库连接池C3P0、DBCP、Druid等
第二阶段:Hadoop生态体系架构
1 Linux系统的安装和操作
2 熟练掌握Shell脚本语法
3 IDEA、Maven等开发工具的使用
4 Hadoop组成、安装、架构和源码深度解析,以及API的熟练使用
5 Hive的安装部署、内部架构、熟练使用其开发需求以及企业级调优
6 Zookeeper的内部原理、选举机制以及大数据生态体系下的应用
7 Flume的架构原理、组件自定义、监控搭建,熟练使用Flume开发实战需求
8 Kafka的安装部署以及框架原理,重点掌握Kafka的分区分配策略、数据可靠性、数据一致性、数据乱序处理、零拷贝原理、高效读写原理、消费策略、再平衡等内容
9 统筹Hadoop生态下的Hadoop、Flume 、Zookeeper、Kafka、DataX、MaxWell等诸多框架,搭建数据采集系统,熟练掌握框架结构和企业级调优手段
关键技术:
Maven:
@Maven环境搭建、本地仓库&中央仓库、创建Web工程、自动部署&持续继承&持续部署
Linux:
@VI/VIM编辑器、系统管理操作&远程登录、常用命令、软件包管理&企业真题
Shell编程:
@自定义变量与特殊变量、运算符、条件判断、流程控制、系统函数&自定义函数
@常用工具命令、常用正则表达式、面试真题
Hadoop:
@Hadoop生态介绍、Hadoop运行模式、源码编译、HDFS文件系统底层详解
@D@N&NN工作机制、HDFS的API操作、MapReduce框架原理
@数据压缩、Yarn工作机制、MapReduce案例详解、Hadoop参数调优
Zookeeper:
@Zookeeper数据结果、内部原理、选举机制、Stat结构体、监听器、分布式安装部署
@API操作、实战案例、面试真题
HA+新特性:
@HDFS-HA集群配置
Hive:
@Hive架构原理、安装部署、远程连接、常见命令及基本数据类型、DML数据操作
@查询语句、Join&排序、分桶&函数、压缩&存储、企业级调优、实战案例、面试真题
Flume:
@Flume架构、Agent内部原理、事务、安装部署、实战案例、自定义Source
@自定义Sink、Ganglia监控
Kafka:
@基础架构、安装部署、命令行操作、生产者消息发送流程、异步发送API、同步发送API
@生产者分区策略、生产者如何提高吞吐量、数据可靠性、数据去重、数据有序、数据乱序
@节点服役和退役、Leader选举流程、文件存储机制、高效读写原理、消费策略、数据积压
@Kafka-Eagle监控、Kafka-Kraft模式
第三阶段:Spark生态体系架构
1、Spark的入门安装部署、Spark Core部分的基本API使用熟练、RDD编程进阶、累加器和广播变量的使用和原理掌握、Spark SQL的编程掌握和如何自定义函数、Spark的内核源码详解(包括部署、启动、任务划分调度、内存管理等)、Spark的企业级调优策略
2、DophineScheduler的安装部署,熟练使用进行工作流的调度执行
3、全面了解数据仓库建模理论,充分熟悉电商行业数据分析指标体系,快速掌握多种大数据技术框架,了解认识多种数据仓库技术模块
4、HBase和Phoenix的部署使用、原理架构讲解与企业级优化
5、开发工具Git&Git Hub的熟练使用
Spark
@安装部署、RDD概述、编程模型、持久化&检查点机制、DAG、算子详解
@RDD编程进阶、累加器&广播变量、SparkSQL、DataFrame 、DataSet
@自定义UDF&UDAF函数、SparkSQL企业级调优、数据倾斜处理、小文件处理、大表join大表
@大小表MapJoin、谓词下推、CPU配置、内存配置等
Presto
@Presto的安装部署
@使用Presto执行数仓项目的即席查询模块
Superset
@使用SuperSet对数仓项目的计算结果进行可视化展示
DolphinScheduler
@任务调度工具DolphinScheduler的安装部署
@实现数仓项目任务的自动化调度、配置邮件报警
DataX
@DataX架构原理、DataX部署、DataX使用、DataX优化
Atlas2.0
@元数据管理工具Atlas的安装部署
MaxWell
@使用MaxWell实时监控MySQL数据变化采集至实时项目
Zabbix
@集群监控工具Zabbix的安装部署
HBase
@HBase原理及架构、数据读写流程、API使用、企业级调优
Redis
@安装配置、Redis的五大数据类型、Jedis、持久化、RDB、AOF
第四阶段:Flink生态体系架构
1 熟练掌握Flink的基本架构以及流式数据处理思想,熟练使用Flink多种Soure、Sink处理数据,熟练使用基本API、Window API 、状态函数、Flink SQL、Flink CEP复杂事件处理等
2 使用Flink搭建实时数仓项目,熟练使用Flink框架分析计算各种指标
3 ClickHouse安装、使用及调优
4 项目实战。贴近大数据的实际处理场景,多维度设计实战项目,能够更广泛的掌握大数据需求解决方案,全流程参与项目打造,短时间提高学生的实战水平,对各个常用框架加强认知,迅速累积实战经验
5 可选掌握推荐和机器学习项目,熟悉并使用系统过滤算法以及基于内容的推荐算法等
6 采用阿里云平台全套大数据产品重构电商项目,熟悉离线数仓、实时指标的阿里云解决方案
Flink
@运行时架构、数据源Source、Window API、Water Mark、状态编程、Flink SQL
@Table API、CEP复杂事件处理、Flink源码、Flink优化
ClickHouse
@ClickHouse安装、使用及调优
SugarBI
@结合Springboot对接百度SugarBI实现数据可视化大屏展示
Doris
@Doris编译域安装、集群扩容和缩容、数据划分、数据模型
@动态分区、Rollup、物化视图、表的创建修改和删除、数据导入导出
@查询设置、Join查询、集成Spark、集成Flink、企业级优化、数据备份和恢复
Hudi
@Hudi快速构建、集成Spark、集成Flink、生产调优
Iceberg
@Iceberg构建、集成Spark、集成Flink、生产调优
K8S
@集群搭建、YAML文件详解、命令行工具Kubectl、Pod、Label
@Controller、Volume、PVC和PV、Secret、configMap、Namespace
@Service、探针、调度器、集群安全机制RBAC、性能监控平台、Helm
Git&GitHub
@安装配置、本地库搭建、基本操作、工作流、集中式
Springboot
@利用Springboot开发可视化接口程序
阶段五:AI辅助编程阶段
Shell编程
A辅助编写Shell脚本
Hadoop
AI辅助编写MapReduce程序、解决Bug
Hive
AI辅助编写Hive SQL,辅助进行SQL性能调优
Flume
AI辅助组件选择和工作流脚本编写
Kafka
AI辅助解决Bug和性能调优
Spark
AI辅助编写Spark开发代码、编写Spark SQL、解决Bug、性能调优
DataX
AI辅助编写工作流脚本
Flink
AI辅助编写需求代码、解决代码Bug
ClickHouse
AI辅助性能调优
数据仓库采集系统实战
AI辅助项目集群搭建、分析数据结构、Flume组件选型、Kafka配置调优等
离线数据仓库项目实战
AI辅助数据仓库建模、Hive SQL调优、调度脚本编写、指标体系构建、可视化接口编写
实时数据仓库项目实战
AI辅助编写需求代码、辅助解决Bug、性能调优、需求解决方案优化等