【RDD Action】countByKey、countByValue、filterByRange、flatMapValues

一、Rdd行动算子

1、【countByKey】统计存储在rdd中元组的key的个数，key是相同的就会进行计数+1。通过这个key 会生成一个Map Map中的key是原有中的key,value是原有key的个数；

2、【countByValue】统计在Rdd中存储元素的个数。会将rdd中每一个元组看作为一个value,若这个元组中元素是相同的，此时就会将生成Map中的value+1；

3、【filterByRange】对rdd中的元素过滤，并返回指定内容的数据。该函数作用于键值对RDD，对RDD中的元素进行过滤，返回键在指定范围中的元素；

4、【flatMapValues】主要是对存在元组中的value进行扁平化处理；

二、实例

package com.cn.rddOperator

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Action03 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("Action").setMaster("local[1]")
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")

    /**
      * countByKey 统计存储在rdd中元组的key的个数
      * 若key是相同的就会进行计数+1
      * 通过这个key 会生成一个Map Map中的key是原有中的key,value是原有key的个数
      */
    val rdd1: RDD[(String, Int)] = sc.parallelize(List(("aa",2),("bb",4),("aa",2),("cc",6)))
    val keys: collection.Map[String, Long] = rdd1.countByKey()
    println(keys)  //Map(aa -> 2, bb -> 1, cc -> 1)

    /**
      * countByValue 统计在Rdd中存储元素的个数
      * 会将rdd中每一个元组看作为一个value,若这个元组中元素是相同的，此时就会将生成Map中的value+1
      */
    val values: collection.Map[(String, Int), Long] = rdd1.countByValue()
    println(values)//Map((bb,4) -> 1, (aa,2) -> 2, (cc,6) -> 1)

    /**
      * filterByRange 对rdd中的元素过滤，并返回指定内容的数据
      * 该函数作用于键值对RDD，对RDD中的元素进行过滤，返回键在指定范围中的元素
      */
    val rdd2: RDD[(String, Int)] = rdd1.filterByRange("aa","bb")
    println(rdd2.collect().toBuffer)//ArrayBuffer((aa,2), (bb,4), (aa,2))

    /**
      * flatMap 遍历集合并进行扁平化处理
      * flatMapValues 主要是对存在元组中的value进行扁平化处理
      */

    val rdd3: RDD[(String, String)] = sc.parallelize(List(("a","aa bb"),("b","cc dd")))
    val rdd4: RDD[(String, String)] = rdd3.flatMapValues(_.split(" "))
    println(rdd4.collect().toBuffer) //ArrayBuffer((a,aa), (a,bb), (b,cc), (b,dd))
  }
}