spark为什么比hive速度快？

spark是什么？

spark是针对于大规模数据处理的统一分析引擎，通俗点说就是基于内存计算的框架

spark和hive的区别？

1. spark的job输出结果可保存在内存中，而MapReduce的job输出结果只能保存在磁盘中，io读取速度要比内存中慢；
2. spark以线程方式运行，MapReduce以进程的方式运行，进程要比线程耗费时间和资源；
3. spark提供了更为丰富的算子操作；
4. spark提供了更容易的api,支持python,java,scala;

spark为什么比hive速度快？

1. spark底层不需要调用MapReduce，而hive底层调用的是MapReduce；
2. spark基于内存计算，而hive基于磁盘计算，内存的读取速度远超过磁盘读取速度；
3. spark以线程方式进行运行，而hive以进程方式运行，一个进程中可以跑多个线程，进程要比线程耗费资源和时间；