Spark行动算子(Action)--countByKey算子

语法

Rdd. countByKey

源码

def countByKey() : scala.collection.Map[K, scala.Long] = { /* compiled code */ }

作用

针对(K,V)类型的RDD，返回一个(K,Int)的map，表示每一个key对应的元素个数。

例子

package com.day1

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object oper {
    def main(args: Array[String]): Unit = {
        val config:SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount")

        // 创建上下文对象
        val sc = new SparkContext(config)

        val rdd = sc.makeRDD(Array((1,2),(1,3),(2,3)))
        println(rdd.countByKey)
    }
}


输入
(1,2) (1,3) (2,3)
输出
Map(1 -> 2, 2 -> 1)