Spark算子实现WordCount

最新推荐文章于 2023-02-28 19:15:24 发布

oifengo

最新推荐文章于 2023-02-28 19:15:24 发布

阅读量268

点赞数

分类专栏： # 爬梯

本文链接：https://blog.csdn.net/weixin_39381833/article/details/108349646

版权

爬梯专栏收录该内容

47 篇文章 0 订阅

订阅专栏

1 map + reduceByKey

    sparkContext.textFile("hdfs://ifeng:9000/hdfsapi/wc.txt")
        .flatMap(_.split(","))
        .map((_,1))
        .reduceByKey(_+_).collect()

在这里插入图片描述

2 countByValue代替map + reduceByKey

val RDDfile = sparkContext.textFile("hdfs://ifeng:9000/hdfsapi/wc.txt")
RDDfile.flatMap(_.split(",")).countByValue.foreach(println)

在这里插入图片描述

3 aggregateByKey


RDDfile.flatMap(_.split(",")).map((_,1)).aggregateByKey(0)(_ + _, _ + _).collect().foreach(println)

在这里插入图片描述

4 foldByKey


RDDfile.flatMap(_.split(",")).map((_,1)).foldByKey(0)(_ + _).collect().foreach(println)

在这里插入图片描述

5 groupByKey+map

RDDfile.flatMap(_.split(",")).map((_, 1)).groupByKey().map(tuple => {
      (tuple._1, tuple._2.sum)
    }).collect().foreach(println)

在这里插入图片描述

6 combineByKey

RDDfile.flatMap(_.split(",")).map((_, 1)).combineByKey(
      x => x,
      (x: Int, y: Int) => x + y,
      (x: Int, y: Int) => x + y
    ).collect().foreach(println)

在这里插入图片描述

1 groupBy

    /*
    * 1 groupBy
    * */
    fileRDD.flatMap(_.split(","))
        .groupBy(x => x)   //(ifeng,CompactBuffer(ifeng, ifeng, ifeng, ifeng, ifeng, ifeng))
        .map(x => {
          (x._1 , x._2.size)
        }).foreach(println)

在这里插入图片描述

2 groupBykey

	/*
    * 2 groupBykey
    * */
    fileRDD.flatMap(_.split(","))
        .map((_,1))
        .groupByKey()     //(ifeng,CompactBuffer(1, 1, 1, 1, 1, 1))
        .map(x => {
          (x._1,x._2.sum)
        }).foreach(println)