美团
一面
聊你最熟悉的项目和技术。
项目中为什么要使用 spark。
spark 怎么划分 stage,宽窄依赖,聊源码
spark 提交一个作业的执行流程(单机模式)
spark driver 节点,worker 以及 master 节点遇到故障如何解决。
spark checkpoint 原理
聊 JVM 内存划分与 GC 算法。
JVM 中为什么需要使用分代收集算法,有什么好处。
手撕代码:
输入一个链表和一个定值 x,要求将值小于 x 的所有节点置换到 x 的左侧,值大于 x 的所有节点置换到 x 右侧,另外需要保持原有前后关系。比如:
输入:1->4->3->2->5->2 and x = 3,
输出:1->2->2->3->4->5.
其中:1/2/2 小于 3,4/5 大于 3,而且输入的前后顺序也是 1/2/2,4/5
一面刚开始是分布式存储团队,主要技术是 hadoop,hbase 以及 hive,后来感觉我对分布式计算感兴趣,面试官帮我转岗到实时计算组,接着二面。
二面
自我介绍
聊项目,项目中有哪些难点,解决了什么问题?
spark streaming 集群如何做容灾处理。
spark checkpoint 原理。
了解哪些海量数据去重的方法。
flink 和 spark 的区别?
flink 了解哪些,它的基本架构原理
如何设计一个多级缓存系统&