一.大数据方向工作介绍
大数据方向的工作目前分为三个主要方向:
- 大数据工程师
- 数据分析师
- 大数据科学家
- 其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的方向吧)
二.大数据工程师的技能要求
附上比较权威的大数据工程师技能图(图侵删):
总结必须技能10条:
- .Java高级(虚拟机、并发)
- Linux 基本操作
- Hadoop(此处为侠义概念单指HDFS+MapReduce+Yarn )
- HBase(JavaAPI操作+Phoenix )
- Hive(Hql基本操作和原理理解)
- Kafka
- Storm
- Scala
- Python
- Spark (Core+sparksql+Spark streaming )
- 一些小工具(Sqoop等)
高阶技能6条:
- 机器学习算法以及mahout库加MLlib
- R语言
- Lambda 架构
- Kappa架构
- Kylin
- Aluxio
三.学习路径
第一阶段:
- Linux技能知