大数据
文章平均质量分 74
伤心的桔子嘎
系统太丑了,见客户太愁了,这用户名也太寒碜了哈哈
展开
-
Spark之combineByKey学习理解
combineByKey()是最为常用的基于键进行聚合的函数。大多数基于键聚合的函数都是用它实现的。和aggregate()一样,combineByKey()可以让用户返回与输入数据的类型不同的返回值。要理解combineByKey(),要先理解它在处理数据时是如何处理每个元素的。由于combineByKey()会遍历分区中的所有元素,因此每个元素的键要么还没有遇到过,要么就和之前的某转载 2018-01-04 14:50:13 · 3497 阅读 · 0 评论 -
Spark累加器accumulator学习
功能描述:统计输入文件中有多少空行 // 在Java中累加空行 JavaRDD rdd = sc.textFile(args[1]); final Accumulator blankLines = sc.accumulator(0); JavaRDD callSigns = rdd.flatMap(new FlatMapFunction() { private static转载 2018-01-05 09:37:24 · 1228 阅读 · 0 评论