一、首先我们要知道大数据需要的知识大纲
分为
1、javaSE的核心知识
2、hadoop生态体系
3、Spark 生态体系
4、Flink 生态体系
5、前沿的技术
二、这五大模块需要学习的知识
1、javaSE基础核心
1.1深入理解java面向对象思想
1.2掌握开发中常用的基础API
1.3熟练使用集合框架、IO流、异常
1.4能够基于jdk8开发
1.5熟练使用MySQL,掌握SQL语法
2、hadoop生态体系阶段
2.1 熟悉使用Maven 开发工具
2.2 掌握Linux系统的安装和基本命令及简单shell脚本编写
2.3掌握Hadoop组成、安装、架构和源码深度解析,以及API的熟练使用
2.4掌握Hive的安装部署、内部架构、熟练熟练使用其开发需求以及企业级调优
2.5掌握Zookeeper的内部原理、选举机制已经常用命令
2.6掌握Flume的架构原理,组件自定义,以及Flume 开发实战需求