spark-groupBy(1)

需求:给数据源的数据%2然后进行分组

package com.atguigu.bigdata.spark.core.operator.transform.test

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object RDD_groupBy_01 {
  def main(args: Array[String]): Unit = {

    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
    val sc = new SparkContext(sparkConf)

    //  TODO 算子 -groupBy - 将数据根据指定的规则进行分组，分区默认不变，但是数据会被打乱重新组合，我们将这样的操作称之为shuffle，
    //                      极限情况下，数据可能被分在同一个分区中
    //  一个组的数据在分区中，但是并不是说一个分区中只有一个组
    //  需求:给数据源的数据%2然后进行分组

    val rdd = sc.makeRDD(List(1, 2, 3, 4), 2)

    //  groupBy会将数据源中的每一个数据进行分组判断，根据返回的分组key进行分组
    //  相同的key值的数据会放置在一个组中

    def groupFunction(num: Int): Int = {
      num % 2
    }

    val groupRDD = rdd.groupBy(groupFunction)
    groupRDD.collect().foreach(println)


    sc.stop()

  }
}