算子实现_（二）Spark Streaming 算子梳理 — flatMap和mapPartitions

目录
天小天：（一）Spark Streaming 算子梳理 — 简单介绍streaming运行逻辑
天小天：（二）Spark Streaming 算子梳理 — flatMap和mapPartitions
天小天：（三）Spark Streaming 算子梳理 — transform算子
天小天：（四）Spark Streaming 算子梳理 — Kafka createDirectStream
天小天：（五）Spark Streaming 算子梳理 — foreachRDD
天小天：（六）Spark Streaming 算子梳理 — glom算子
天小天：（七）Spark Streaming 算子梳理 — repartition算子
天小天：（八）Spark Streaming 算子梳理 — window算子

前言

在上一章我们了解了Streaming的运行逻辑和几个算子。本章主要介绍下mapPartitions和flatMap的实现逻辑。

看代码

首先看一下flatMap和mapPartitions代码示例:

package streaming

import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.{
    Seconds, StreamingContext}

import scala.collection.mutable
import scala.collection.mutable.ListBuffer

/**
  * @date 2019/01/21
  */
object Api {
    
  def main(args: Array[String]): Unit = {
    
    val sparkConf = new SparkConf().setAppName("api").setMaster("local[2]")
    val rddQueue = new mutable.Queue[RDD[Int]]()

    val ssc = new StreamingContext(sparkConf, Seconds(2))
    val lines = ssc.queueStream(rddQueue)
    
    // flatMap & mapPartitions
    val d = lines.flatMap(List(_, 20, 30, 40)).mapPartitions(iteratorAdd)
    
    d.print()
    
    
    ssc.start()
    for (i <- 1 to 30) {
    
      rddQueue.synchronized {
    
        rddQueue += ssc.sparkContext.makeRDD(1 to 1000, 10)
      }
      Thread.sleep(1000)
    }
    ssc.stop()
  }

  def iteratorAdd(input: Iterator[Int]) : Iterator[String] = {
    
    val output = ListBuffer[String]()
    for (t <- input){
    
      output += t.toString + " map"
    }
    output.iterator
  }

}

上面的代码flatMap的功能是对原始数据每个元素后面都增加20，30，40这三个元素；mapPartitions实现的功能是在每个元素后面都增加” map“这个字符串。整体的输出结果就是：