spark
超o仔O
这个作者很懒,什么都没留下…
展开
-
Spark性能优化篇三:数据倾斜调优
Spark性能优化篇三:数据倾斜调优前言 继 Spark性能优化篇二: 开发调优和 Spark性能优化篇一:资源调优讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。1.数据倾斜调优调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,...转载 2018-05-30 09:53:00 · 312 阅读 · 0 评论 -
Spark性能优化篇一:资源调优
Spark性能优化篇一:资源调优 所谓的Spark资源参数调优,其实主要就是对Spark运行过程中各个使用资源的地方,通过调节各种参数,来优化资源使用的效率,从而提升Spark作业的执行性能。以下参数就是Spark中主要的资源参数,每个参数都对应着作业运行原理中的某个部分,我们同时也给出了一个调优的参考值。num-executors参数说明:该参数用于设置Spark作业总共要用多少个Exe...转载 2018-05-30 09:53:52 · 359 阅读 · 0 评论 -
Spark性能优化篇四:shuffle调优
Spark性能优化篇四:shuffle调优shuffle调优调优概述 大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此,如果要让作业的性能更上一层楼,就有必要对shuffle过程进行调优。但是也必须提醒大家的是,影响一个Spark作业性能的因素,主要还是代码开发、资源参数以及数据倾斜,shuffle调优只能在整...转载 2018-05-30 09:55:43 · 251 阅读 · 2 评论 -
maven 对spark 源码进行编译(基于Centos 7 )
maven 对spark 源码进行编译(基于Centos 7 )1 、写在前面的话 有些小伙伴可能会问:Spark官网不是已经提供了Spark针对不同版本的安装包了吗,我们为什么还需要对Spark源码进行编译呢?针对这个问题我们到Spark官网: spark.apache.org来看下,如下图所示: Spark官网的确是提供了一些Hadoop版本的Spark安装包,但是提供的这些是否能...转载 2018-05-30 10:01:36 · 588 阅读 · 0 评论 -
Spark 之 sql 缓存
hkl曰:缓存对于一些复用程度很高的rdd来说是很有用的,可以很大程度上提高效率。 1.几种缓存数据的方法 例如有一张Hive表叫做activity 1.CACHE TABLE //缓存全表 sqlContext.sql("CACHE TABLE activity") //缓存过滤结果 sqlContext.sql("CACHE...原创 2018-10-12 14:57:58 · 1535 阅读 · 0 评论