尚硅谷直播课:（韩顺平）2020大数据学习路线图、大数据开发课程笔记

尚硅谷直播课:2020大数据学习路线图,大数据开发
链接：https://pan.baidu.com/s/18Feqa_63640xPB0fYJ8Ttg 提取码：9bnr(此链接放这只为方便自己查阅，无恶意分享他人劳动成果之意)
大数据以集群方式运行，多个服务器构成一个集群，分为主服务器和从服务器
Flume做数据采集
Zookeeper做数据管理和配置
Kafka做数据传输，同时对数据清洗，去杂质
Hadoop做数据存储
Spark做数据分析计算
拿到数据以后，一个是入库，另一个是通过消息队列把数据用前端技术展现，这是整体的运行结构部署
数据生命周期：
1数据源：由javaEE工程师提供
2数据采集：Flume,Kafka,Sqoop
3数据存储:HBase HDFS Oracle
4数据计算:Flink Spark Storm MapReduce
5数据应用:BI分析 可视化Echarts

数据流向

职业规划

★大数据分析师（数据统计、处理、分析，拿到有用的价值。技术方向的要求有开发能力）

★大数据挖掘师/算法工程师

★大数据工程师

★大数据运维工程师

★大数据仓库工程师

★大数据产品经理

大数据架构师/资深大数据架构师


AI最终也需要大数据支撑，阿里最高p12

大数据技术体系

第一阶段: JAVA 万丈高楼平地起

第二阶段: JAVAEE核心 全面发展,锦上添花,大将之才，作为一个大数据工程师，JavaEE不是必须的，但是有一些必须知道
juc是并发编程常用的工具类

第三阶段: Hadoop生态体系 洞悉分步高效计算各大框架各显神通



第四阶段: Spark生态体系 内存级计算引擎数据挖掘与机器学习之利器
第五阶段: Flink生态体系 大数据计算引擎阿里巴巴的新宠

第六阶段 企业级项目

第七阶段 大厂高频面试题
第八阶段 手撕源码内力大增
摆脱危机的最好方式就是面对危机，不断学习