Spark Top N

最新推荐文章于 2021-04-12 15:25:17 发布

靖-Drei

最新推荐文章于 2021-04-12 15:25:17 发布

阅读量1.1k

点赞数

分类专栏： spark 文章标签： spark

spark 专栏收录该内容

57 篇文章 3 订阅

订阅专栏

博客介绍了如何使用Spark进行Top N操作，包括基本的TopN实现（Scala版）以及TopN分组（Java版）。强调了RangePartitioner在保证结果有序和数据分布均匀方面的重要性，对比了RangePartitioner与HashPartitioner的区别。作业部分要求用Scala编写TopN分组并实现Key排序。

摘要由CSDN通过智能技术生成

基本TopN（Scala版）

package com.dt.spark.cores.scala

import org.apache.spark.{SparkContext, SparkConf}


object TopNBasic {
def main (args: Array[String]) {
val conf = new SparkConf()
conf.setAppName("TopNBasic")
conf.setMaster("local")
val sc = new SparkContext(conf)
val data = sc.textFile("E:\\workspases\\data\\basicTopN.txt")

val pairs = data.map(line => (line.toInt,line))

val sortedPairs = pairs.sortByKey(false)

val sortedData = sortedPairs.map(pair => pair._2)

val top5 = sortedData.take(5)

sc.setLogLevel("OFF")
top5.foreach(println)

sc.stop()
}
}

topN分组（Java版）：

package com.dt.spark.cores.java;

import com.sun.corba.se.spi.legacy.connection.GetEndPointInfoAgainException;
import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.api.java.function.VoidFunction;
import scala.Tuple2;

import java.util.Arrays;
import java.util.Iterator;


public class TopNGroup {
public static void main(String[] args)
{
SparkConf conf = new SparkConf().setAppName("TopNGroup").setMaster("local");

JavaSparkContext sc = new JavaSparkContext(conf);

JavaRDD data = sc.textFile("E:\\workspases\\data\\GroupTopN.txt");

JavaPairRDD,Integer> pairs = data.mapToPair(new PairFunction, String, Integer>() {
@Override
public Tuple2, Integer> call(String line) throws Exception {
String[] splitedline = line.split(" ");
return new Tuple2, Integer>(splitedline[0], Integer.valueOf(splitedline[1]));
}
});

JavaPairRDD,Iterable> groupPairs = pairs.groupByKey();

JavaPairRDD,Iterable> top5 =groupPairs.mapToPair(new PairFunction, Iterable>, String, Iterable>() {
@Override
public Tuple2, Iterable> call(Tuple2, Iterable> groupedData) throws Exception {
Integer[] top5 = new Integer[5];
String groupedKey = groupedData._1();
Iterator groupValue = groupedData._2().iterator();
while (groupValue.hasNext()) {
Integer value = groupValue.next();
for (int i = 0; i < 5; i++) {//具体实现内部的topN
if (top5[i] == null) {
top5[i] = value;
break;
} else if (value > top5[i]) {
for (int j = 4; j > i; j--) {
top5[j] = top5[j - 1];
}
top5[i] = value;
break;
}
}
}
return new Tuple2, Iterable>(groupedKey, Arrays.asList(top5));
}
});
sc.setLogLevel("OFF");
//打印分组内容
top5.foreach(new VoidFunction, Iterable>>() {
@Override
public void call(Tuple2, Iterable> topped) throws Exception {
System.out.println("groupKey:" + topped._1());//获取groupKey
Iterator toppedValue = topped._2().iterator();//获取groupvalue
while (toppedValue.hasNext())//具体打印出每组Top N
{
Integer value = toppedValue.next();
System.out.println(value);
}
System.out.println("***********************************************");
}
});
}
}

RangePartitioner主要是依赖的RDD的数据划分成不同的范围，关键的地方是不同的范围是有序的
RangePartitioner除了是结果有序的基石以外，最为重要的是尽量保证每个Partition中的数据量是均匀的！！！
HashPartition会产生数据倾斜，极端情况下某（几）个分区拥有RDD的所有数据！！！
作业：使用Scala写TopN分组程序并且对Key排序

package com.dt.spark.cores.scala

import org.apache.spark.{SparkContext, SparkConf}


object TopNGroup {
def main (args: Array[String]) {

val conf = new SparkConf()
conf.setAppName("TopNBasic")
conf.setMaster("local")
val sc = new SparkContext(conf)
val data = sc.textFile("E:\\workspases\\data\\GroupTopN.txt")

val groupRDD = data.map(line => (line.split(" ")(0),line.split(" ")(1).toInt)).groupByKey()

val top5 = groupRDD.map(pair=> (pair._1,pair._2.toList.sortWith(_>_).take(5))).sortByKey()
top5.collect().foreach(pair =>{
println(pair._1+":")
pair._2.foreach(println)
println("***********************")
})
sc.stop() 
}
}