性能调优
文章平均质量分 91
xwc35047
时间有限,但做于自己的无限。(公众号:水木之椿)
展开
-
Spark性能调优2-总结分享
1、Spark调优背景目前Zeppelin已经上线一段时间,Spark作为底层SQL执行引擎,需要进行整体性能调优,来提高SQL查询效率。本文主要给出调优的结论,因为涉及参数很多,故没有很细粒度调优,但整体调优方向是可以得出的。环境:服务器600+,spark 2.0.2,hadoop 2.6.02、调优结果调优随机选取线上9条SQL,表横轴是调优测试项目,测试在集群空闲情况下...原创 2017-05-01 09:43:29 · 7324 阅读 · 0 评论 -
Spark性能调优1-测试记录
1、调优背景 Spark作为Zeppelin的SQL底层执行引擎,通过Thriftserver处理jdbc连接,为提高硬件资源利用率、IO带宽和内存利用率,特针对性的进行Spark性能调优,目的是提高多租户环境下Spark SQL执行效率。2、整体调优结果表2-1 整体调优结果 sql NO. MR sp-1(s)...原创 2017-05-01 09:03:09 · 4952 阅读 · 2 评论 -
Leveraging Alluxio with Spark SQL to Speed Up Ad-hoc Analysis
BackgroundAt present, hundreds of TB of data is processed in Momo bigdata cluster every day. However, most of the data will be read/write through disk repeatedly, which is ineffective. In order to s...原创 2018-01-23 18:46:16 · 1144 阅读 · 0 评论