SuperProgram00的博客

1. def wc1(): Unit = { val conf = new SparkConf().setAppName("wc").setMaster("local[2]"); val sc = new SparkContext(conf) val wc = sc.textFile("E://java//HelloSpark//src//word.txt").f...

https://blog.csdn.net/qq_30921461/article/details/78320750

为什么单独讲解combineByKey？ 因为combineByKey是Spark中一个比较核心的高级函数，其他一些高阶键值对函数底层都是用它实现的。诸如 groupByKey,reduceByKey等等 如下给出combineByKey的定义，其他的细节暂时忽略(1.6.0版的函数名更新为combineByKeyWithClassTag) def combineByKey[C]( ...

1.transformation & action transformation ：是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD或者从RDD生成一个新的RDD action ： 是得到一个值，或者一个结果（直接将RDDcache到内存中） 所有的transformation都是采用的懒策略，就是如果只是将transformation提交是不会...

Spark性能调优手段： 判断内存消耗：设置RDD并行度，将RDD cache到内存，通过BlockManagerMasterActor添加RDD到memory中的日志查看每个partition占了多少内存，最后乘以partition数量，即是RDD内存占用量。 1.Shuffle调优（核心） a.consolidation机制，使shuffleMapTask端写磁盘的文件数量减少，resu...