SparkStreaming入门介绍和运行架构

1、概述

官网：http://spark.apache.org/docs/latest/streaming-programming-guide.html
Spark流是核心Spark API的扩展，支持对实时数据流进行可伸缩的、高吞吐量的、容错的流处理。数据可以从Kafka、Flume、Kinesis或TCP套接字等多种来源获取，并且可以使用复杂的算法处理数据，这些算法由map、reduce、join和window等高级函数表示。最后，处理后的数据可以推送到文件系统、数据库和活动仪表板。

在内部，它的工作原理如下。Spark streams接收实时输入的数据流，并将数据分成批次，然后由Spark引擎对这些数据进行处理，以批量生成最终的结果流。

Spark流提供了一个高级抽象，称为discretized stream或DStream，它表示连续的数据流。DStreams可以从Kafka、Flume和Kinesis等源的输入数据流创建，也可以通过对其他DStreams应用高级操作创建。在内部，DStream表示为RDDs序列。
所以SparkStreaming严格意义上来讲并不是实时的，是由很多个小批次组成。

2、Basic Concepts

2.1 Maven 添加依赖

如果是基于Maven的Project，pom.xml要添加spark-streaming依赖包，注意scala版本，我的是scala-2.11.8

	<spark.version>2.4.0</spark.version>
	...
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming_2.11</artifactId>
      <version>${spark.version}</version>
    </dependency>

2.2 StreamingContext

StreamingContext是SparkStreaming程序的入口，回顾下前面讲的：

RDD入口  => SparkContext
DataFrame/DataSet入口  => SparkSession
DStream入口 =>  StreamingContextRDD入口  => SparkContext
DataFrame/DataSet入口  => SparkSession
DStream入口 =>  StreamingContext

import org.apache.spark._
import org.apache.spark.streaming._

val conf = new SparkConf().setAppName(appName).setMaster(master)
val ssc = new StreamingContext(conf, Seconds(1))  //conf不讲，Seconds表示多少秒执行一次程序

//TODO...要执行的代码

ssc.start()
ssc.awaitTermination()

2.3 Discretized Streams (DStreams)

Discretized Stream or DStream是Spark流提供的基本抽象。它表示连续的数据流，无论是从源接收到的输入数据流，还是通过转换输入流生成的经过处理的数据流。在内部，DStream由一系列连续的RDDs表示，RDDs是Spark对不可变的分布式数据集的抽象。DStream中的每个RDD都包含来自特定时间间隔的数据，如下图所示。

应用于DStream上的任何操作都转换为底层RDDs上的操作。

这些底层的RDD转换由Spark引擎计算。DStream操作隐藏了这些细节中的大部分，并为开发人员提供了更高级的API，以方便开发人员使用。

2.4 Input DStreams、 Receiver

Input DStreams是表示从流源接收的输入数据流的数据流。在官网案例中(该案例往下看)，lines是一个Input DStreams，因为它表示从netcat服务器接收到的数据流。每个Input DStreams都与Receiver对象相关联，后者接收来自源的数据并将其存储在Spark内存中进行处理。

注意，如果希望在流应用程序中并行接收多个数据流，可以创建多个input DStreams 。这将创建多个receivers，同时接收多个数据流。但是请注意，Spark worker或者executor端是一个长时间运行的任务，因此它占用分配给Spark流应用程序的一个Core。因此，重要的是要记住，Spark流应用程序需要分配足够的内核来处理接收到的数据，并运行receiver。

这段话是说如果你是Local模式的，那么至少要设置成 local[2]，因为executor要占用1core，receiver接受数据源也要占用1core。所以像local，local[1]是不行的。

2.5 Transformations on DStreams

和SparkCore的算子使用是一样的，这里不讲解。
参考博客：https://blog.csdn.net/greenplum_xiaofan/article/details/97975195

2.6 Output Operations on DStreams

重点是foreachRDD

3、运行过程

4、官网案例WordCount

先开启natcat

[hadoop@vm01 bin]$ nc -lk 8888

再开启SparkStreaming应用程序，从natcat接受数据，每隔10秒一个批次计算WordCount

package com.ruozedata.spark
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object SocketWCApp {
  def main(args: Array[String]): Unit = {
    val sparkConf=new SparkConf().setMaster("local[2]").setAppName("SocketWCApp")
    val ssc=new StreamingContext(sparkConf,Seconds(10))

    //socketTextStream底层源码里面就有 Receiver接收器
    val lines=ssc.socketTextStream("vm01",8888)

    val result=lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
    result.print()

    ssc.start()
    ssc.awaitTermination()
  }  
}

在什么都没数据接收过来的情况下，每隔10秒会运行一次
要停止程序，点击左边红色正方形

然后输入一些数据

[hadoop@vm01 bin]$ nc -lk 8888
hello hadoop
hello spark