一、大数据相关工作介绍
大数据方向的工作目前主要分为三个主要方向:
1. 大数据工程师
2. 数据分析师
3. 大数据科学家
4. 其他(数据挖掘等)
二、大数据工程师的技能要求
附上大数据工程师技能图:
大数据学习资料分享群119599574
必须掌握的技能11条
1. Java高级(虚拟机、并发)
2. Linux 基本操作
3. Hadoop(HDFS+MapReduce+Yarn )
4. HBase(JavaAPI操作+Phoenix )
5. Hive(Hql基本操作和原理理解)
6. Kafka
7. Storm/JStorm
8. Scala
9. Python
10. Spark (Core+sparksql+Spark streaming )
11. 辅助小工具(Sqoop/Flume/Oozie/Hue等)
高阶技能6条
1. 机器学习算法以及mahout库加MLlib
2. R语言
3. Lambda 架构
4. Kappa架构
5. Kylin
6. Alluxio
三、学习路径
第一阶段:Java设计与编程思想
学习内容:Java设计与编程思想