大数据面试题总结

1.Hadoop的基于进程的计算和Spark基于线程方式优缺点?

  答案：Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加载到每个map task中，造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率，Spark采用了线程的最小的执行单位，但缺点是线程之间会有资源竞争。

2.groupByKey算子和reduceByKey算子的区别？

  两个算子在功能上的区别：

• groupByKey仅仅只有分组功能
• reduceByKey除了有ByKey的分组功能外，还有reduce聚合功能，是一个分组+聚合的一体化算子。

  两个算子在性能上的区别：
如果对数据执行分组+聚合,那么使用这2个算子的性能差别是很大的。reduceByKey的性能是远大于: groupByKey +聚合逻辑的。
  先看groupByKey +聚合的执行过程，

由于groupByKey只能分组，所以，执行上是先分组(shuffle)在聚合。
  再看reduceByKey的执行过程&#