spark 处理业务,使用spark比MR快的原因
处理业务,使用spark比MR快的原因前言内存&硬盘MapReduceSparkspark DAG任务划分减少了不必要的shuffle资源申请粒度:进程&线程MapReduceSpark多任务计算示例前言从官网上看,使用spark处理业务要比MR快100倍左右。原因主要有三点:运算资源:内存&硬盘根本原因:spark DAG任务划分减少了不必要的shuffle资源申请粒度:进程&线程内存&硬盘注意:MR和spark最终的shuffle阶段(如果有
复制链接