spark+java1.8+lamda wordCount 实例,并且实现按单词出现的次数的倒序排序

最新推荐文章于 2023-03-28 15:42:02 发布

jiangzeyun

最新推荐文章于 2023-03-28 15:42:02 发布

阅读量1.8k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/jiangzeyun/article/details/52556365

版权

spark 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

package com.jiangzeyun.spark.core;
import java.util.Arrays;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;

/**
 * 
 * @author jiangzeyun
 * @brief WordCount 第一个spark程序
 *
 */
public class WordCount {
	
	public static void main(String[] args) {
		//本地模式
		SparkConf conf = new SparkConf().setAppName("WordCount").setMaster("local");
		@SuppressWarnings("resource")
		JavaSparkContext sc = new JavaSparkContext(conf);
		JavaRDD<String> lines = sc.textFile("/usr/local/hadoop/README.txt");	
		JavaRDD<String> words =  lines.flatMap( s -> Arrays.asList(s.split(" ")).iterator()); 
		JavaPairRDD<String, Integer> pairs = words.mapToPair(s -> new Tuple2<String, Integer>(s, 1));
		JavaPairRDD<String, Integer> counts = pairs.reduceByKey((a, b) -> a + b);
		//如果要实现按单词出现的次数从高低排名，1，首先要tuple的key value值，然后再按key排序，然后再交换过来
		JavaPairRDD<Integer, String> tmp = counts.mapToPair(s->new Tuple2<Integer, String>(s._2,s._1)).sortByKey(false);
		JavaPairRDD<String, Integer> result = tmp.mapToPair(s->new Tuple2<String, Integer>(s._2,s._1));
		result.foreach(a -> System.out.println(a._1+"=>"+a._2()));
		sc.stop();
	}
}