六祎-大数据必备技能？

Java面向对象、JavaWeb开发、Hadoop、Java I/O与序列化、
Redis、Kafka 、Storm、HiveMapreduce、Python、
Spark (Core+sparksql+Spark streaming )。

高阶技能有: 机器学习算法、数据可视化、mahout库、MLlib、R语言、Lambda 架构、Kappa架构、Kylin、Aluxio。

一、学习目标：掌握JavaEE核心技术、能够使用MySQL操作和管理数据、掌握Java SSM框架的使用、能够完成Java Web项目、熟悉Linux编程的基本使用、通过ELK了解数据处理的整个过程。当然身为Java工程师这一目标已经达到了。

二、学习目标：掌握Hadoop平台核心技术、Hive开发、HBase开发、离线项目开发所需技能。完成这一目标可胜任初级大数据离线处理工作，如ETL工程师，Hive工程师，数据仓库工程师，HBase工程师等。

三、学习目标：掌握Scala基本编程、Spark架构基本内容及原理、Spark开发及使用、了解Spark机器学习。完成这一目标可胜任Spark开发工作，如Spark开发工程师，大数据实时处理工程师等。

四、学习目标：掌握Python基本使用、Python核心库的使用、Python爬虫、Python简单数据分析、理解Python机器学习。完成这一目标可胜任Python爬虫工程师，初级机器学习工程师工作。

五、学习目标：掌握大数据企业级项目开发的基本流程、项目开发的具体实现方法、大数据高可用集群管理、理解并掌握系统的安全性、授权及审计、数据保护等技能、可独立完成学业中匹配的真实一线项目。完成这一目标可胜任中级大数据开发工程师，Spark工程师，可视化工程师，ETL工程师相关工作。