bigdata-researcher

探索一切未知的东西

大数据:Spark 面试题收集

Spark 算子有哪些,项目用到哪些算子

Spark 广播变量

Spark内存溢出

Spark OOM问题解决办法

Spark 任务执行速度倾斜问题解决方案

https://blog.csdn.net/lsshlsw/article/details/52025949

SparkHadoop MapReduce的异同

首先Spark是借鉴了mapreduce并在其基础上发展起来的,继承了其分布式计算的优点并改进了mapreduce

明显的缺陷,但是二者也有不少的差异具体如下:

1、spark把运算的中间数据存放在内存,迭代计算效率更高;mapreduce的中间结果需要落地,需要保存到磁盘,

这样必然会有磁盘io操做,影响性能。

 

2、spark容错性高,它通过弹性分布式数据集RDD来实现高效容错,RDD是一组分布式的存储在节点内存中的

只读性质的数据集,这些集合是弹性的,某一部分丢失或者出错,可以通过整个数据集的计算流程的血缘关系

来实现重建;mapreduce的话容错可能只能重新计算了,成本较高。

 

3、spark更加通用,spark提供了transformation和action这两大类的多个功能api,另外还有流式处理

sparkstreaming模块、图计算GraphX等等;mapreduce只提供了map和reduce两种操作,流计算以及其他

模块的支持比较缺乏。

 

4、spark框架和生态更为复杂,首先有RDD、血缘lineage、执行时的有向无环图DAG、stage划分等等,

很多时候spark作业都需要根据不同业务场景的需要进行调优已达到性能要求;mapreduce框架及其生态

相对较为简单,对性能的要求也相对较弱,但是运行较为稳定,适合长期后台运行。

 

最后总结:

spark生态更为丰富,功能更为强大、性能更佳,适用范围更广;mapreduce更简单、稳定性好、适合离线海量数据挖掘计算。

Spatk streaming的数据来源

基于offset消费数据

SparkHadoop的异同

https://blog.csdn.net/WYpersist/article/details/79982749

Sparkhadoopshuffle有何异同

https://blog.csdn.net/WYpersist/article/details/79982627

 

Spark RDD操作mapflatmap的区别

https://blog.csdn.net/wypersist/article/details/80220211

 

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/WYpersist/article/details/80316283
文章标签: SPARK 面试题
想对作者说点什么? 我来说一句

大数据面试题

2018年04月15日 506KB 下载

没有更多推荐了,返回首页

不良信息举报

大数据:Spark 面试题收集

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭