最全大数据面试求职经验总结_大数据专家面试，2024年最新2024大数据开发面经

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

5)熟练掌握Sqoop（SQL-to-Hadoop）的工作的原理，运作流程，实现数据 在各组件之间的传输；

6)熟练掌握Kafka分布式消息队列的架构。能够使用Kafka和Flume结合对 实时数据进行简单的处理；

7)熟练掌握Zookeeper（分布式协作服务）的架构，工作原理；

8)能够使用Oozie（工作流程调度器）进行程序流式运行；

9)掌握Git管理工具。

模板2

■ 语言

1.Java

•熟悉JVM的垃圾清理机制和调优，理解Java多线程的技术;

•拥有OOP的思想，能够熟练地使用Java语言进行MapReduce以及Spark的开发。

2.能够熟练使用Scala语言进行Spark的业务开发。

3.熟悉Linux命令，能够编写Shell脚本。

4.精通SQL语句，能够进行Hive和SparkSQL的开发。

■ 框架

1.Hadoop

•熟悉HDFS的读写流程，并能用其进行海量数据的存取；

•熟悉MapReduce的运行流程，并能用其进行海量数据的分析；

•熟悉Hive的原理，能够熟练使用hql语句以及自定义UDF进行Hive的数据分析，能够进行Hive的调优；

•了解ZooKeeper的原理，能够使用ZooKeeper对集群进行协同服务；

•理解HBase的特性，能够使用HBase进行数据的存储，能够完成HBase的表设计；

•熟悉Flume的框架，能够使用Flume实现不同场景下的数据采集；

•熟知Sqoop的原理，能够使用Sqoop实现不同场景下的数据传输。

2.Spark

•熟悉Spark的框架以及Spark任务的执行流程；

•熟悉RDD的属性，能够使用RDD算子进行Spark Core的开发；

•精通SQL，能够进行Hive on Spark以及SparkSQL的开发；

•能够使用Spark Streaming进行实时处理；

•理解消息中间件Kafka的原理与结构，能够完成Kafka与Spark的对接。

■ 工具

1.熟悉IEDA/Eclipse开发工具，熟悉Git版本控制工具；

2.熟悉数据库连接工具Navicat和Linux系统远程连接工具MobaXterm；

3.熟悉数据仓库建模工具PowerDesigner，能够完成ODS层，DW层以及DM层的设计。

■ 数据库

1.精通SQL语句，熟悉MySQL数据库；

2.熟悉Redis的数据类型以及常规操作，了解Redis的持久化和主从配置。

■ 其他

1.熟悉数据仓库的建模，掌握星型模型和雪花模型的设计；

2.了解二叉树、红黑树的排序算法，了解二叉树的遍历算法。

简历模板：

可以使用招聘软件上的在线简历，填写后导出，也可以在专业简历网站上编写，如五百丁、超级简历等，不建议直接在word模板中改，容易出现格式错误。

其他注意事项：

1.简历中的学校课程校招可以选择性填写 ，有社招经验的不需要。

2.简历内容充实时自我评价可不写。

3.简历中的照片可以不加，留神秘感。

4.求职是双向选择。

二、常见问题

三、求职软件

互联网行业首推招聘网站：BOSS、拉勾

注意：一定要在找工作面试前提前写好在线简历，如果简历符合公司要求，HR会主动联系你投递简历。

校招要提前去公司官网投递简历，尽量熟人找内推。

四、知识体系

每个岗位的知识体系不同，这里我熟悉的以大数据为例，知识点很多，但不一要全会，围绕自己简历中技能或项目班包含的技术，挑自己的强项写进简历中。

1.大数据体系

**数据采集传输：**Flume（进）  Kafka（缓冲池）  Sqoop（出）  Logstash – ELK  Data X – 阿里

数据存储：

MySQL – 模拟java后台的数据

HDFS – Hive

HBase – kylin，

实时的kv格式数据  Redis – 缓存  MongoDB – 前端

数据计算：

Hive – 底层是mr

Tez – 基于内存

Spark – 计算引擎（多表）

Flink – 支持实时的单条数据处理与批处理（多表，被阿里收购，取名Blink，添加了很多新特性）

Strom – 实时处理（old）

数据查询：

Presto – 基于内存（快速查询，Apache）

Druid – 德鲁伊（只支持单表、宽表查询）

Impala – 基于内存（快速查询，CDH）

Kylin – 预计算，预聚合，多维度（国人开发的Apache顶级项目）

数据可视化：

Echarts – 百度开源，需要绘图，使用难度高

Superset – 免费开源，适合中小型企业使用，简单轻量

QuickBI – 收费

Data D – 收费、酷炫

**任务调度：**Azkaban  Oozie – CDH内部集成，web页面安装即可

集群监控：Zabbix – 报警（通过邮件、钉钉、甚至电话通知，属于专业运维使用）

元数据管理 Atlas – 可以用来管理hive的元数据，形成血缘依赖关系

另外，推荐几个优秀的大数据面试系列博客：

1.《大数据面试题》面试大数据这一篇就够了_abluer~的博客-CSDN博客_大数据面试

五、面经

推荐观看：短时间内准备面试技巧 | 通过大厂面试 | 基础知识、项目和算法

【2个月通过秋招】短时间内准备面试技巧 | 通过大厂面试 | 基础知识、项目和算法_哔哩哔哩_bilibili

面经有时候比你的技能知识储备更重要，通过心仪公司的面经有助于你看准方向，充分应对面试。

牛客网：看面经+刷题

LeetCode算法：进大厂算法必刷

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

片转存中…(img-b7ucmmW1-1715477989566)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！