大数据学习路线
大数据的就业岗位
- 大数据开发工程师
- 大数据分析师
- 数据挖掘工程师
- 大数据可视化工程师
[链接]:https://zhidao.baidu.com/question/923220050245273699.html
大数据开发工程师
大数据开发工程师,很多公司都在招聘的热门技术人才,工资也是相对于其他方向更高一些。想要成为大数据开发工程师需要掌握计算机技术、hadoop 、spark、storm开发、hive 数据库、Linux 操作系统等知识,具备分布式存储、分布式计算框架等技术。
主要分为 7 个阶段:入门知识 → Java 基础(JavaSE) → Scala 基础 → Hadoop 技术模块 → Hadoop 项目实战 → Spark 技术模块 → 大数据项目实战。
Storm别学,直接先Spark后Flink。可以参考一下Spring, Spring MVC, SpringBoot, Spring Cloud等等,但底层呢,还是IOC,AOP在转。
再就是Flink的问题,Flink是阿里带队的,肯定偏不了,后援团强着,这个之前星球也说了。再就是你如果Spark会的话,这边的会是指底层原理,而不是使用。Flink跟Spark有 很多共性。
另外,还需要学习linux,搭建服务器等。
学习的话:可以先学习基础,后面根据项目需要缺啥补啥
[链接]:参考链接(含javase推荐视频)
大数据分析师
大数据分析师是数据师的一种,指的是不同行业中,专门从事行业数据搜 集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具,提取、分析、呈现数据,实现数据的商业意义。
作为一名数据分析师、至少需要熟练SPSS、STATISTIC、Eviews、SAS、大数据魔镜等数据分析软件中的一门,至少能用Acess等进行数据库开发,至少掌握一门数学软件如matalab、mathmatics进行新模型的构建,至少掌握一门编程语言。总之,一个优秀的数据分析师,应该业务、管理、分析、工具、设计都不落下。
数据挖掘工程师
做数据挖掘要从海量数据中发现规律,这就需要一定的数学知识,基本的比如线性代数、高等代数、凸优化、概率论等。
经常会用到的语言包括Python、Java、C或者C++,我自己用Python或者Java比较多。有时用MapReduce写程序,再用Hadoop或者Hyp来处理数据,如果用Python的话会和Spark相结合。