大数据技术栈

目录

大数据相关岗位

基础技术

语言基础

计算机基础

技术框架

自学流程

基础知识

大数据框架

---

大数据相关岗位

数据仓库工程师

大数据平台开发工程师

ETL开发工程师(传统数仓)

数据分析师

数据产品经理

数据运营

基础技术

语言基础

精通一门语言：Java，C，C++，Python，Go，Scala，等等。(大数据建议选择Java)

辅助语言：shell/python

开发会用到的语言 Scala sql

计算机基础

Java是基础工具，学完JavaSE，重点对集合、多线程以及JVM进行深入学习，如果你时间充裕，比如大二或者研一同学，可以深入学习JavaEE，SpringCloud。

先学习Java语言基础语法，一个月左右便可以把JavaSE学完，后续找面经查漏补缺!

之后搭建Linux虚拟机平台，为后续大数据框架学习作准备。

目前企业生产使用的是Linux系统，掌握Linux基本原理是未来必备技能。

数据结构与算法:链表，队列，堆，二叉树，排序，查找，贪心，回溯等。(刷力扣)

计算机网络:OSI七层体系，常用的TCP/IP四层体系。(八股文)

操作系统:进程与线程，乐观锁与悲观锁，缓存一致性，CPU时间片调度。

数学:高等数学，线性代数，概率论与数理统计。

技术框架

存储：mysql，redis，hbase，ES

计算引擎：hive，spark，flink(了解)

服务协调(了解) zookeeper dubbo springcloud

数据采集： flume sqoop datax cannl(实时)

元数据管理： atlas(了解)

集群的部署 监控 运维：

cdh hdp 原生Apache 社区开源组件

任务调度工具：azkaban，ozzie，小海豚

自助BI分析：帆软，神策，superset，国人开源BI(github)

界面上写sql jdbc hive 拖拉拽

自学流程

基础知识

如果你是零基础，建议看视频入门，代码一定要自己敲一遍，切忌眼高手低!高淇三百集:【尚学堂】Java300集零基础适合初学者视频教程_Java300集零基础教程_Java初学入门视频基础巩固教程_Java语言入门到精通_哔哩哔哩_bilibiliJava 推荐《Java编程思想》，有在线中文版此外，还有sf语言，因为后续要学到Spark、Flink,等框架，这些框架采用Scala编程极为灵浩，所以需要学习Scala的编程规范。关于Scala学习，推荐尚硅谷老师的视频。尚硅谷Scala语言入门:https:/www.bilibili.com/video/BV1Xh411S7bP?p=50

数据结构与算法

强烈推荐左神的视频，他讲的内容基本上和企业面试相关，通俗易懂。我当时看的是一个在牛客网上讲视频:其中包括算法初级和进阶。在听这个视频前，最好去了解下基本的数据结构!看完视频后，具备一定的基础了，可以把剑指offer刷完!和LeetCode !左程云左老师的课一周刷爆LeetCode，算法大神左神（左程云）耗时100天打造算法与数据结构基础到高级全家桶教程，直击BTAJ等一线大厂必问算法面试题真题详解_哔哩哔哩_bilibiliJava 推荐《Java编程思想》，有在线中文版此外，还有sf语言，因为后续要学到Spark、Flink,等框架，这些框架采用Scala编程极为灵浩，所以需要学习Scala的编程规范。关于Scala学习，推荐尚硅谷老师的视频。尚硅谷Scala语言入门:https:/www.bilibili.com/video/BV1Xh411S7bP?p=50

大数据框架

Linux:无论你做的是后端还是大数据，Linux已经成为企业筛选人才的一个标准。尚硅谷韩顺平老师的Linux 入门视频教程、入门精品尚硅谷韩顺平Linux链接:https:/ / www. bilibili.com/video/av21303002可以结合《Linux就该这么学》这本术一起学习，加深对Linux理解!尚硅谷Scala语言入门:https:/www.bilibili.com/video/BV1Xh411S7bP?p=50

Hadoop(重点)

Hadoop是大数据技术中最重要的框架之一，是学习大数据的第一课。目前，Hadoop已经从1.x版本发展到现在的3.x版本。Hadoop一共包含3个组件:分别是最强的分步式文件系统HDFS，海量数据并行计算框架MapReduce，流行的资源管理系统Yarn。任何框架的学习，先搭建好环境，线上跑一个测试案例，之后再深入其原理。HDFS有伪分布式、完全分步式以及高可用架构模型，重点了解HA架构模型以及各个角色的职责。HDFS 的架构模型主要包括以下角色:Namenode (Active、Standyby)，Datanode，.JournalNode，DFSZKFailoverController (ZKFC)，SecondNamenode。虽SecondNamenode应用较少，但还是要了解其工作机制。MapReduce的核心思想、详细工作流程，Shuffle机制也要重点掌握，面试会问。Yarn资源管理系统不仅适用于MapReduce..计算框架，同时也会被用于Spark计算框架，所以它的工作机制也非常重要。推荐大家学习尚硅谷的Hadoop教程常透彻。可以结合《Hadoop权威指南》第四版学习。

ZooKeeper

ZooKeeper是一个分步式协调管理组件，主要的典型应用场景是数据发布/订阅、分步式协调/通知、集群管理等。你可以结合《从Paxos到ZooKeeper》这本书结合一起学，这本书不仅阐述了CAP理论，把ZooKeeper的核心原理讲的很透。小白可以从下面这个视频入门尚硅谷ZooKeeper.注:视频仅作为初学者入门，要深入学习还需要看书和研究官方文档。

Hive(重点)

Hive 是一款开源数据仓库工具，它可以将结构型数据映射成一张表，但其底层使用的是 MapReduce，提供类SQL查询，一般称之为HQL。初学者入门Hive，可以从视频开始，重点需要了解内部表与外部表的区别，以及分区分桶等。如果你要深入学习其内部原理及调优，可以去读一读《Hive编程指南》和Apache官方文档，对企业级的调优有详细的阐述。尚硅谷Hive注:视频仅作为初学者入门，要深入学习还需要看书和研究官方文档。

HBase是一个结构化数据的分步式存储系统，可扩展也支持海量数据存储的NoSQL 数据库，是每一个大数据从业者应该要掌握的基本框架。重点要掌握其架构原理，各个角色职责，Compact流程和Region流程。下面是入门HBase 的视频教程。初学者入门Hive，可以从视频开始，重点需要了解内部表与外部表的区别，以及分区分桶等。如果你要深入学习其内部原理及调优，可以去读一读《Hive编程指南》和Apache官方文档，对企业级的调优有详细的阐述。尚硅谷Hive注:视频仅作为初学者入门，要深入学习还需要看书和研究官方文档。

Redis是一个开源的key-value 存储系统，支持存储的value类型相对更多，并且支持各种不同方式的排序，为了保存效率，数据都是缓存在内存中。该组件无论是后端还是大数据，都是必会的一个框架。我学习一个新技术，先是通过视频入门，之后再去看相关书籍和官方文档，深入理解技术细节。Redis推荐大家看尚硅谷周阳老师讲的，就是该课程有点老，很多新的特性可能无法了解。我贴出了两个Redis课程入门学习链接;尚硅谷Redis推荐书籍:《Redis 设计与实现》和《Redis 深度历险:核心原理与应用实践》

Kafka（重点）

作为高吞吐量的分步式发布订阅消息系统，Kafka可以处理消费者规模的网站中所有动作流数据。这里建议:先了解Kafka是解决什么问题的而产生的，再了解其基本架构，最后深入理解核心实现原理。尚硅谷Kafka推荐书籍:首推《深入理解Kafka:核心设计与实践原理》，想要深入了解Kafka源码的，你可以跟着《Apache Kafka 源码剖析》一起看，可以让你顿悟!推荐书籍:《Redis 设计与实现》和《Redis 深度历险:核心原理与应用实践》

Spark

Spark 支持了Streaming、SQL、GraphX、MLLib.等应用。但相较于Hadoop中的 MapReduce计算框架，Spark速度快10到100倍左右另外，计算过程中，如果某一节点出现问题，事件重演的代价远低于MapReduceoSpark SQL可以对结构化数据进行处理Spark Streaming 主要用于实时流数据处理场景，支持多种数据源，DStream是Spark Streaming 的基础抽象Spark MLlib提供了常见的机器学习功能的程序库，GraphX主要用于图计算。下面是我为大家筛选的Spark 入门学习链接，这个视频主要是基于Scala 2.12版本讲解，对最新的Spark3.0作了详细的介绍，是一套小白入门学习的好资料。注:学习Spark 之前，一定要先学习Scala 语言。在编程语言基础中，已经给出了 Scala的详细学习推荐!

Flink是一个分步式处理引擎，用于对无界和有芥效据流进行状态计算。Flink计算具有快速、灵巧、结果准确以及良好的容错性等一系列优点，被广泛用于各行各业的流式数据场景。目前，国内形成以阿里为音的企业，腾讯，京东，滴滴，携程，美团等，都在使用 Flink框架。Flink在大数据的流式计算占据着非常重要的地位，每一个大数据人都应该要掌握这门技术。尚硅谷FlinkFlink理论基础和基于Flink得电商用户行为分析项目实战。推荐书籍:《Flink_原理、实战与性能优化》

关于项目。是非科班同学在校招面试时最薄弱的一环。在学校，你几乎很难去做一个实实在在的落地项目，因为基本接触t到相关的项目。也是社招О基础自学转行、培训班毕业、外包在职跳槽，一个难点!因此，我建议校招要提前计划实习，通过实习让自己获得项目经验。尚硅谷大数据电商数仓4.0项目链接:https:// www.bilibili.com/video/BV1rL411E7uz?from=search&seid=18180773597117271072&spm_id_from=333.337.0.0技术选型:Hadoop+ZooKeeper+Hive+Flume+Sqoop+Kafka+Azkaban+Kylin+Spark这个项目主要是讲解了数据仓库的架构模型，实现了数仓项目的闭环，从数据采集到数仓建模，再到数仓应用等。项目中还涉及到一些其它技术，中间可以穿插着学习。