大数据工程师必备技能总结和学习路线

在中国，大数据也正迅速成为行业和市场的热点。专注与亚太及中国市场的市场调查机构泛亚咨询发布的调研数据显示，目前出现在各类招聘平台上与数据分析相关的招聘需求比去年同期相比，增长率高达67%；大数据相关高级职位的薪酬与其他同类技术职位相比平均高出43%以上。无论是世界范围内还是在中国，大数据浪潮正在深刻改变着各行各业，而各行各业对大数据人才的需求，以及技术从业者希望跻身大数据高级人才的需求也变得越来越强烈。

但想要成为一名合格的大数据工程师，必须具备一定的技术，总结了一下：

 

今天为大家整理了部分大数据学习教程与大家共享，每个人可以根据自己的需要来选择，需要的小伙伴可以+下学习资料分享裙 199加上427最后是210数字连起来就是了。
 

 

1、必须技能10条:

01.Java高级编程(虚拟机、并发)

02.Linux 基本操作

03.Hadoop（此处指HDFS+MapReduce+Yarn ）

04.HBase（JavaAPI操作+Phoenix ）

05.Hive

06.Kafka

07.Storm

08.Scala

09.Python

10.Spark (Core+sparksql+Spark streaming ）

2、进阶技能6条:

11.机器学习算法以及mahout库加MLlib

12.R语言

13.Lambda 架构

14.Kappa架构

15.Kylin

16.Aluxio

对于大数据技术的学习，给出了以下学习路线图可供规划自己的学习之路！

 

阶段一、大数据基础——java语言基础方面

（1）Java语言基础

Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类

（2） HTML、CSS与JavaScript

PC端网站布局、HTML5+CSS3基础、WebApp页面布局、原生JavaScript交互功能开发、Ajax异步交互、jQuery应用

（3）JavaWeb和数据库

数据库、JavaWeb开发核心、JavaWeb开发内幕

阶段二、 Linux&Hadoop生态体系

Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架

阶段三、 分布式计算框架和Spark&Strom生态体系

（1）分布式计算框架

Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算、实战一：基于Spark的推荐系统（某一线公司真实项目）、实战二：新浪网（www.sina.com.cn）

（2）storm技术架构体系

Storm原理与基础、消息队列kafka、Redis工具、zookeeper详解、实战一：日志告警系统项目、实战二：猜你喜欢推荐系统实战

阶段四、 大数据项目实战（一线公司真实项目）

数据获取、数据处理、数据分析、数据展现、数据应用

阶段五、 大数据分析 —AI（人工智能）

Data Analyze工作环境准备&数据分析基础、数据可视化、Python机器学习

1、 Python机器学习2、图像识别&神经网络、自然语言处理&社交网络处理、实战项目：户外设备识别分析

学习建议：如果有足够的时间和精力，可以按照上面的学习路线图和视频教程进行自学；如果想要快速就业，也可以参加大数据课程班学习！