Spark Action操作

集合标量行动操作：

• first():T 表示返回RDD中的第一个元素，不排序
• count():Long 表示返回RDD中的元素个数
• reduce(f:(T,T)=>T):T 根据映射函数f，对RDD中的元素进行二元计算
• collect():Array[T] 表示将RDD转换成数组。
• take(num:Int):Array[T] 表示获取RDD中从0到num-1下标的元素，不排序。
• top(num:Int):Array[T] 表示从RDD中，按照默认（降序）或者指定的排序规则，返回前num个元素。排序。
• takeOrdered(num:Int):Array[T]和top类似，只不过以和top相反的顺序返回元素。
• aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U用户聚合RDD中的元素，先使用seqOp将RDD中每个分区中的T类型元素聚合成U类型，在使用comOp将之前每个分区聚合后的U类型聚合成U类型，特别注意seqOP和comOP都会使用zeroValue的值。
• fold(zeroValue: T)(op: (T, T) => T): T fold是aggregate的简化，将aggregate中的seqOp和combOp合并成一个函数op。
  

 val rdd5 = sc.parallelize(1 to 10, 2)
    rdd5.mapPartitionsWithIndex(
      (partIdx, iter) => {
        var part_map = scala.collection.mutable.Map[String, List[Int]]()
        while (iter.hasNext) {
          var part_name = "part_" + partIdx
          var elem = iter.next()
          if (part_map.contains(part_name)) {
            var elems = part_map(part_name)
            elems ::= elem
            part_map(part_name) = elems
          } else {
            part_map(part_name) = List[Int] {
              elem
            }
          }
        }
        part_map.iterator
      }
    ).collect()
    // Array[(String, List[Int])] = Array((part_0,List(5, 4, 3, 2, 1)), (part_1,List(10, 9, 8, 7, 6)))

    /**
      * def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U
      * 计算过程：先在每个分区中迭代执行 (x: Int, y: Int) => x + y，并且使用zeroValue的值，
      * 即part_0中：zeroValue+5+4+3+2+1
      * 即part_1中：zeroValue+10+9+8+7+6
      * 再将两个分区的结果使用(a: Int, b: Int) => a + b进行合并，并且也是要zeroValue
      * 即 zeroValue+part_0+part_1
      */
    rdd5.aggregate(0)(
      { (x: Int, y: Int) => x + y }, { (a: Int, b: Int) => a + b }
    )
    //res23: Int = 55

 rdd5.fold(0)(
      (x, y) => x + y
    )
    //res24: Int = 55