大数据工程师技能要求的学习路线图

一、大数据相关工作介绍

大数据方向的工作目前主要分为三个主要方向:

1. 大数据工程师

2. 数据分析师

3. 大数据科学家

4. 其他（数据挖掘等）

二、大数据工程师的技能要求

附上大数据工程师技能图：

必须掌握的技能11条

1. Java高级(虚拟机、并发)

2. Linux 基本操作

3. Hadoop（HDFS+MapReduce+Yarn ）

4. HBase（JavaAPI操作+Phoenix ）

5. Hive(Hql基本操作和原理理解）

6. Kafka

7. Storm/JStorm

8. Scala

9. Python

10. Spark (Core+sparksql+Spark streaming ）

11. 辅助小工具(Sqoop/Flume/Oozie/Hue等)

高阶技能6条

1. 机器学习算法以及mahout库加MLlib

2. R语言

3. Lambda 架构

4. Kappa架构

5. Kylin

6. Alluxio

三、学习路径

加米谷大数据理论＋代码＋实战＋实操的独有课程体系，下面是加米谷的0基础大数据开发课程大纲：

第一阶段：Java设计与编程思想

学习内容：Java设计与编程思想

学习目标：Java基础、Java面向对象、Java高级、数据库与JDBC

学习效果：熟练掌握Java语法并灵活运用，能够开发后台应用

第二阶段：Web前端开发

学习内容：Web前端开发

学习目标：HTML基础、CSS3基础、JS脚本编程

学习效果：能够基于HTML+CSS+JQuery进行前端开发

第三阶段：JavaEE进阶

学习内容：JavaEE进阶

学习目标：JavaWeb后端开发、SSM框架

学习效果：掌握主流JavaWeb框架并灵活运用

第四阶段：大数据基础

学习内容：大数据基础

学习目标：Linux基础、Maven基础

学习效果：熟练掌握Linux及Maven等相关知识并灵活运用

第五阶段：HDFS分布式文件系统

学习内容：HDFS分布式文件系统

学习目标：HDFS原理剖析、HDFS编程

学习效果：深入理解HDFS的原理并灵活运用

第六阶段：MapReduce分布式计算模型

学习内容：MapReduce分布式计算模型

学习目标：MapReduce原理剖析、MapReduce实践

学习效果：熟练掌握MapReduce原理并灵活运用

第七阶段：Yarn分布式资源管理器

学习内容：Yarn分布式资源管理器

学习目标：Yarn原理剖析、Yarn实践

学习效果：深入理解Yarn的原理并调优

第八阶段：Zookeeper分布式协调服务

学习内容：Zookeeper分布式协调服务

学习目标：Zookeeper原理剖析、Zookeeper实践

学习效果：深入理解Zookeeper的原理并灵活运用

第九阶段：Hbase分布式数据库

学习内容：Hbase分布式数据库

学习目标：Hbase原理剖析、Hbase编程实践

学习效果：深入理解Hbase的原理并灵活运用及调优

第十阶段：Hive分布式数据仓库

学习内容：Hive分布式数据仓库

学习目标：Hive原理剖析、Hive编程实践

学习效果：深入理解Hive的原理并灵活运用

第十一阶段：FlumeNG分布式数据采集系统

学习内容：FlumeNG分布式数据采集系统

学习目标：FlumeNG原理剖析、FlumeNG编程实践

学习效果：熟练掌握FlumeNG的各种应用场景

第十二阶段：Sqoop大数据迁移系统

学习内容：Sqoop大数据迁移系统

学习目标：Sqoop原理剖析、Sqoop编程实践

学习效果：熟练掌握Sqoop并灵活运用

第十三阶段：Scala大数据黄金语言

学习内容：Scala大数据黄金语言

学习目标：Scala语法剖析、Scala应用实践

学习效果：熟练掌握Scala各种语法并灵活运用

第十四阶段：kafka分布式总线系统

学习内容：kafka分布式总线系统

学习目标：kafka原理剖析、kafka编程实践

学习效果：深入理解kafka原理并灵活运用及调优

第十五阶段：SparkCore大数据计算基石

学习内容：SparkCore大数据计算基石

学习目标：SparkCore核心原理、SparkCore实践

学习效果：深入理解SparkCore原理并灵活运用及调优

第十六阶段：SparkSQL数据挖掘利器

学习内容：SparkSQL数据挖掘利器

学习目标：SparkSQL核心原理、SparkSQL实践

学习效果：熟练掌握SparkSQL的各种应用场景并灵活运用

第十七阶段：SparkStreaming流失计算平台

学习内容：SparkStreaming流失计算平台

学习目标：SparkStreaming核心原理、SparkStreaming实践

学习效果：深入理解SparkStreaming原理及各种应用场景和调优

第十八阶段：SparkMllib机器学习平台

学习内容：SparkMllib机器学习平台

学习目标：SparkMllib算法模型及核心原理、SparkMllib实践

学习效果：熟练掌握SparkMllib的常用算法并灵活运用

第十九阶段：SparkGraphx图计算平台

学习内容：SparkGraphx图计算平台

学习目标：SparkGraphx核心原理、SparkGraphx实践

学习效果：深入理解SparkGraphx的原理并灵活运用

第二十阶段：大数据项目实战

学习内容：大数据项目实战

学习目标：4个大数据项目的实战

学习效果：能够基于所学知识在真实的项目中操练
人工智能、大数据、云计算和物联网的未来发展值得重视，均为前沿产业，多智时代专注于人工智能和大数据的入门和科谱，在此为你推荐几篇优质好文：
大数据工程师就业培训哪个好?
http://www.duozhishidai.com/article-15082-1.html
大数据工程师培训，需要学习的有哪些课程?
http://www.duozhishidai.com/article-15081-1.html
如何成为一名优秀的大数据工程师
http://www.duozhishidai.com/article-7673-1.html

---

多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站