2024年最全大数据面经 字节跳动 （整理）_字节大数据开发面经(1)，2024年最新你想学的都在这里

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

上来就聊下项目
项目中kafka怎么使用的
了不了解nginx
给一个日志文件，有用户ID，时间戳，url，用mapreduce如何给出每天每个站点的访问任务
在这个过程可能会出现什么问题？我这里答了会出现数据倾斜，然后问如何解决
数据库都有哪些引擎
数据库的锁了解哪些，说说
应用层协议有哪些
什么场景用TCP，什么场景用UDP
HTTP状态码都有哪些，具体说一下
HTTP长连接和短连接
url和uri的区别
还问了http请求头的一些字段内容
还是上面那个日志，不过现在所有的数据是在数据库中，写条sql语句查询近一个月每天每个站点的访问人数。
有什么要问我的吗
二面很多没答上来，感觉凉了，没想到给我过了，，我现在还在怀疑人家是不是搞错了。。
三面：
三面面试官人也挺好，听声音是个大叔啊哈
首先还是自我介绍
说下项目
平时开发环境是windos还是linux
开发使用什么语言比较多
线程和进程的区别
hashmap的实现
hashmap的loadfactory是干嘛的
hashmap的扩容
为什么每次扩容都是翻倍，增加1.5倍不行吗
扩容的时候为啥不多扩一点，比如4倍
来了道算法题，两个三十六进制字符串的相加
一条直线可以把一个平面分成2个平面，两条直线最多分成4个，问n条直线最多分成几个面
有什么要问我的吗

试着答了一下

1.说说对hadoop的理解，都有哪些组件，分别是干什么的

Hadoop是大数据的组件，由HDFS，MapReduce和Yarn组成，HDFS主要负责数据的存储，MapReduce是作为计算引擎，负责计算，Yarn负责资源调度

2.还了解大数据其他组件嘛？这里我说了下kafka，然后巴拉巴拉，，，

Kafka是一个基于订阅发布模式的高性能、高吞吐的实时消息队列系统，用于实时架构中，实现将实时数据采集的数据进行实时存储，供于SparkStreaming或者Flink等工具实现实时数据消费处理

3.kafka在什么地方需要用到zookeeper

三种情况：
需要用到存储元数据和交换集群信息
解决分布式一致性问题
需要要消费者知道现在那些生产者（对于消费者而言，kafka就是生产者）是可用的。

4.了解HBase吗？

Hbase是一个基于分布式内存和HDFS的按列存储的NoSQL数据库，适合于需要实时的对大量数据进行快速、随机读写访问的场景

5.说下spark中的transform和action

1，transformation是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD

2，action是得到一个值，或者一个结果（直接将RDD cache到内存中）

6.为什么spark要把操作分为transform和action

因为所有的transformation都是采用的懒策略，就是如果只是将transformation提交是不会执行计算的，计算只有在action被提交的时候才被触发。这样有利于减少内存消耗，提高了执行效率

7.spark中有了RDD，为什么还要有Dataframe和DataSet？

RDD叫做弹性分布式数据集
与RDD类似，DataFrame是一个分布式数据容器，但是DataFrame不是类型安全的。
DataSet是DataFrame API的一个扩展，是Spark最新的数据抽象，结合了RDD和DataFrame的优点

8.了解函数式编程吗？说下c/c++和scala这种函数式编程语言的区别

scala便是函数式编程的一种，函数式编程语法比起面向对象语言更加简洁优化，

9.Java中抽象类和接口的区别

1.接口只能包含抽象方法,抽象类可以包含普通方法。
2.接口只能定义静态常量属性,抽象类既可以定义普通属性,也可以定义静态常量属性。
3.接口不包含构造方法,抽象类里可以包含构造方法。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

😕/bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！