![](https://img-blog.csdnimg.cn/20210325204209696.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
每日面经
每天来几道大数据面经,吃的饱饱,舒舒服服
CoreDao
软件工程学习者 | 学习无止境,路上且行且珍惜
展开
-
2021_03_28
A 问题 A1 背压机制 Spark 1.5以前版本,用户如果要限制 Receiver的数据接收速率,可以通过设置静态配制参数 “spark.streaming.receiver.maxRate”的值来实现,此举虽然可以通过限制接收速率,来适配当前的处理能力,防止内存溢出,但也会引入其它问题。比如: producer数据生产高于 maxRate,当前集群处理能力也高于 maxRate,这就会造成资源利用率下降等问题。 为了更好的协调数据接收速率与资源处理能力,1.5版本开始 Spark Streaming原创 2021-03-28 22:24:50 · 92 阅读 · 0 评论 -
2021_03_25
A 问题 1.spark⽀持故障恢复的⽅式? 2.详细说一下hadoop和spark的相同点和不同点? 3.spark如何保证宕机迅速恢复? A1 spark⽀持故障恢复的⽅式? 主要包括两种⽅式: ⼀种是通过⾎缘关系lineage,当发⽣故障的时候通过⾎缘关系,再执⾏⼀遍来⼀层⼀层恢复数据; 另⼀种⽅式是通过checkpoint()机制,将数据存储到持久化存储中来恢复数据。 A2 详细说一下hadoop和spark的相同点和不同点? Hadoop底层使⽤MapReduce计算架构,只有map和red原创 2021-03-25 22:14:11 · 127 阅读 · 0 评论