大数据方向的工作目前分为三个主要方向:
01.大数据工程师
02.数据分析师
03.大数据科学家
04.其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的一个方向吧)
一、大数据工程师的技能要求
二、大数据学习路径
一、大数据工程师的技能要求
总结如下:
必须技能10条:
01.Java高级编程(虚拟机、并发)
02.Linux 基本操作
03.Hadoop(此处指HDFS+MapReduce+Yarn )
04.HBase(JavaAPI操作+Phoenix )
05.Hive
06.Kafka
07.Storm
08.Scala
09.Python
10.Spark (Core+sparksql+Spark streaming )
进阶技能6条:
11.机器学习算法以及mahout库加MLlib
12.R语言
13.Lambda 架构
14.Kappa架构
15.Kylin
16.Aluxio
想要在大数据这个领域汲取养分,让自己壮大成长。分享方向,行动以前先分享下一个大数据交流分享资源群870097548,欢迎想学习,想转行的,进阶中你加入学习。
二、学习路径
因为大数据前景好,薪资高,很多人想通过参加学习大数据,然后进入大数据行业发展。但是因为大数据的门槛较高,对于学习人员有一定的要求,那么学习大数据需要什么基础知识呢?
首先科多大数据和大家一起来了解下对于大数据学习者本身的学历水平的要求。
目前大多数的机构,对于大数据学习者要求必须是大专学历以上,而且大专学历还要求是理工科相关专业的,如果是本科及本科以上的,则对专业要求适当的放宽。同时大数据分为两大方向:大数据开发和数据分析。
这两大方向的对于基础知识的要求不同,数据分析偏向应用层面,对于编程要求不高,相较而言对于基础知识这块要求低一点。
下面我们结合大数据开发和数据分析的课程内容来具体说明大数据学习要具备什么基础知识。
下面是大数据开发的课程内容:
阶段一:静态网页基础(主要学习HTML和CSS)
阶段二:JavaSE+javaWEB
阶段三:JAVA高阶应用
阶段四:javaEE
阶段五:Linux和Hadoop
阶段六:大数据数据库
阶段七:实时数据采集
阶段八:Spark数据分析
从上面的课程内容看,大数据开发学习要掌握java、linux、hadoop、storm、flume、hive、Hbase、spark等基础知识。
数据分析的课程内容:
阶段一:Mysql
阶段二:Python开发基础
阶段三:Python高阶编程
阶段四:数据分析基础知识
阶段五:数据挖掘
阶段六:机器学习
阶段七:业务分析
阶段八:项目实战(挖掘和业务分析)
阶段九:大数据分析
数据分析课程跟大数据开发不同,需要掌握的基础知识也不同,数据分析需要掌握的基础有:数据库、python、spss、MongDB、smartbi、tableau、r语言以及数据建模等知识。
以上就是大数据要掌握的基础知识,只有掌握了这些知识,才能够找到一份好的大数据工作。大数据技术可以应用在各个领域,比如公安大数据、交通大数据、医疗大数据、就业大数据、环境大数据、图像大数据、视频大数据等等,应用范围非常广泛,大数据技术已经像空气一样渗透在生活的方方面面。大数据技术的出现将社会带入了一个高速发展的时代,这不仅是信息技术的终极目标,也是人类社会发展管理智能化的核心技术驱动力。
因此建议想学习大数据的同学,最好找个靠谱的培训机构学习,这样不仅可以系统的学习大数据理论知识,还可以结合项目实践更熟练的掌握大数据技能。