大数据面试需要考察什么？

大家好，我是老蒙，有多年大数据从业经验，资深面试官，曾就职国内某 Top3 游戏厂商，目前是某公司 30+ 人大数据团队负责人，专注于大数据分布式技术的研究与实践。

目前为止大部分的大数据开发程序员都是“野生”的，虽然很多高校已经开设了大数据相关的课程，但是这些科班的同学大部分都还在大学校园没出来，所以很多人对于大数据面试需要掌握的知识点的了解是不全面且不系统的，基本都来自于网上候选人们分享的一篇篇面经。

但是要知道这些面经的内容其实是碎片的，不同的人去同一个部门遇到同一个面试官面试最终的面试题可能都是不一样的，这一点对于候选人来说可能会觉得面试题真的难以捉摸，变换莫测。

实际上面试官心里是有一份完整且固定的需要考察的知识点的“目录”，他会根据你答题的情况和简历里描述的情况，在“目录”里找不同的知识点题目来考察你，所以掌握了这份“目录”里的知识点才算是摸透了面试官的“套路”，才能高效地准备面试，从容地应对问题。

作为一个混迹职场多年的程序员老鸟，我的面试经验还算丰富，无论是作为面试官还是候选人，正所谓知己知彼，百战不殆。所以，我希望能够把自己的一些大数据相关的面试经验传授给更多的人，让大家少走弯路。这个专栏能从多角度去帮助你解析大数据面试需要考察的知识点和知识点底层的原理。

对于一场面试而言，首先你得知道面试官想要的是什么，希望听到哪些亮点，以及自己需要做哪些准备，如何准备，面试准备的过程扬长补短很重要，自己擅长的东西不仅仅是中规中矩地表现出来，更要成为面试官眼中的亮点，同时也要去发现自己的短板，不是去避免它而是直面它，在准备面试的过程中把这个坑给填平。

为什么他们都选择这个面试宝典？

1. 不扯淡不讲虚的 本着脱离了技术讲面试技巧都是扯淡的原则，专栏的内容主要是以技术为主，挖掘深度和广度。这些内容都是我多年职业生涯的积累，底层原理到上层应用，从理论知识到实践调优。

2. 亲手绘制流程图让你学的明白 为了能说清楚问题并且保证质量，我亲手绘制了专栏里所有的架构图流程图等等。

3. 最新版本的讲解，一点也不敷衍 现在网络上各种面试题满天飞但是仔细看的话就会发现很多内容都经不起推敲，系统版本老旧、一知半解没深度、有问题没答案、标题党博人眼球、答案过于简单甚至有错等等问题很多。这个专栏可以省去大家去网上搜集和辨别各种不靠谱的资料的精力，用别人走弯路的时间来补强自己。

市面上关于大数据面试方面的书籍非常少，网络内容的质量也参差不齐，这其实和技术的迭代速度也有关系，大数据技术迭代太快了，很多组件一年就能发好几个版本，功能特性变化快得你都学不过来，怎么办？

这种问题也经常会有小伙伴问我，我的答案很简单，掌握底层原理，功能是表面的，很容易改变，系统的实现思想和原理才是能长久保留下来的，掌握了之后对于后续的变化基本上都能够举一反三了。

本专栏分为三大部分，分布式存储，分布式计算，分布式理论和数据仓库方法论，以及最后的彩蛋，面试的注意事项。

技术部分部分会有面试题以及详细的底层原理解析和调优实践；理论和方法论部分会结合实际应用场景举例；最后的面试注意要点部分助力你拿下心仪的 Offer。

这个专栏实际上也是一次帮你梳理知识点的过程，这些内容也不仅仅是可以用于面试，对自己技术上的补强也是有很大的帮助的，面向面试学习其实也是一种很好的学习方式，这能够给自己一个驱动力，用面试倒逼自己去学习更多深层次的东西，同时也能够查漏补缺。

学习大纲

专栏的内容主要以 “重点知识点 + 知识点解析 + 相关面试题详解” 这样的方式排布，以知识点为中心，关联相关的面试题。

关于内容，首先我以我自己作为面试官和候选人的经历做了一份全面的总结，同时我和同样从事大数据行业的资深面试官朋友们做了深度的交流，和关注我公众号的粉丝朋友们从候选人的角度也做了完整的调研，最终完成了这个专栏，以下就是大数据面试需要考察的内容即专栏的主要内容。需特别说明的是，开发语言相关内容不在本专栏的范围内，开发语言是一块比较大的内容，不是三言两语可以说清楚的，所以本专栏只专注大数据技术，Java/Scala/Shell/Python 相关内容需大家额外准备。

第一部分：分布式存储

分布式存储模块包括大数据组件组件源码级别的读写解析，异常恢复，热点问题，高效读写的原理，高可用机制，一致性原理，调优实践等等内容，涉及到 HDFS，HBase，Kafka，Elasticsearch，Redis，Zookeeper。每个技术组件都会总结高频面试题，帮助你弯道超车。最后会总结分布式存储各自的场景和选型问题。

第二部分：分布式计算

分布式计算模块包括组件的一致性保证，Failover机制，shuffle原理，内存管理，调优实践，分区，checkpoint等等，以及流式计算的Time，State，WaterMaker等特性，涉及到Spark/SparkSQL/SparkStreaming/StructedStreaming，Hive，Flink。同时因为这里的分布式计算是广义的，计算相关的 ETL 工具，资源调度工具 Yarn，任务调度工具也会在这个部分讲解。最后也会总结分布式计算各自的场景和选型问题。同样是以知识点+相关面试题的方式为大家呈现这部分内容。

第三部分：分布式理论和数据仓库方法论

这部分主要包括大数据的理论知识，包括，大数据去重算法，分布式理论，分布式共识问题，分布式一致性问题以及数据仓库构建相关的方法论和数据治理的方法论会涉及建模方法，数仓分层，元数据管理，血缘解析，埋点方案，数据质量的保证等理论和实践结合的内容。

彩蛋：面试注意事项

技术是一大块内容，但不是全部，还有很多内容也是至关重要的，比如，项目要怎么准备，怎么突出自己的亮点，简历怎么写，这些也是需要去细心准备的，我负责总结，提供建议，你负责拿下心仪的大厂offer。

专栏目录

1. 大数据面试需要考察什么？
2. HDFS 底层交互原理解析
3. HDFS 优化与容错机制
4. HBase 高效读写原理全解读
5. HBase 系统调优指南
6. Kafka 如何兼顾一致性和读写效率
7. kafka 事务机制与系统优化
8. Zookeeper 架构与Zab协议
9. Zookeeper 特性与对应的场景
10. Elasticsearch 运行架构详解
11. Elasticsearch 倒排索引与优化
12. Redis 特性&持久化&场景
13. Redis 架构方案详解
14. Spark 重要概念及相关知识点
15. Spark 执行流程&内存管理&SparkSQL
16. Spark Streaming 流式计算解析
17. Flink 运行架构与编程模型
18. Flink 容错&内存管理&反压
19. Hive 底层与架构相关面试题解析
20. HiveSQL 典型面试练习题
21. Yarn 资源调度全面解析
22. ETL 常用工具对比和选型
23. 分布式理论 CAP&BASE
24. 分布式共识 Paxos&Raft&Zab
25. 分布式事务 ACID&2PC
26. 数据仓库方法论与相关面试题
27. 数据治理方法论与相关面试题
28. 数据湖 Hudi 原理与相关面试题
29. 彩蛋：如何准备你的简历
30. 彩蛋：面试的注意要点

最后

现代社会什么都讲究高效，尤其是对于程序员——这种被外界广泛觉得35岁是天花板的职业。时间就是金钱，漫无目标地准备面试，无法形成系统的知识碎片，对生命是严重的浪费，对于技术来说，系统性地学习，不断深挖深度，扩展广度，才能够让自己从容地迈过35岁这个槛。

程序员最忌讳的就是懒惰，希望你能成为一个爱折腾的人，持续学习，在人生的小阶段拿到自己满意的offer，同时给漫长的职业生涯打上最坚实的地基。

你将获得什么？

• 分布式存储和计算核心知识点

  系统一致性、failover机制、shuffle原理、内存管理、调优实践、分区管理、checkpoint、热点问题、高效读写原理、高可用机制……这些都是大数据面试中关于分布式的高频词汇，当然也是专栏重点讲解的内容。另外，在广度上，会涉及 Spark、Flink、Yarn、HDFS、HBase、Zookeeper 等多个存储、计算、管理的常用组件。

• 分布式理论和数据仓库方法论

  理论和方法论是实践的基础，这部分内容不仅能帮助你从容面对面试官的问题，在实际的工作中也有很大的帮助，毕竟面试只是开始，工作能力才是你赖以生存的资本。

• 大厂高频面试题与面试注意事项

  高频面试题会与知识点相结合，两者相辅相成，目的就是让大家少走弯路，用其他人踩坑的时间来提升自己。面试的注意事项会告诉你各种除了技术之外的套路与提升好感的技巧，起到锦上添花的作用。

适用人群

• 学生党，应届生，对大数据有兴趣者
• 有一定开发经验，需要转岗的程序员
• 缺少系统性大数据知识的开发者
• 需要面试的大数据从业者