Spark性能调优总结

  1、Spark调优背景目前Zeppelin已经上线一段时间,Spark作为底层SQL执行引擎,需要进行整体性能调优,来提高SQL查询效率。本文主要给出调优的结论,因为涉及参数很多,故没有很细粒度调优,但整体调优方向是可以得出的。环境:服务器600+,spark 2.0.2,Hadoop 2.6...

2018-06-20 15:21:25

阅读数:250

评论数:0

Saprk基本架构原理简介

一,简介        Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有...

2018-06-18 19:26:16

阅读数:67

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭