Spark Streaming笔记（一）

最新推荐文章于 2022-05-07 14:54:37 发布

Ericosic

最新推荐文章于 2022-05-07 14:54:37 发布

阅读量876

点赞数

分类专栏：大数据文章标签： spark 大数据流式计算

本文链接：https://blog.csdn.net/ChangHuiYuanH/article/details/53815575

版权

大数据专栏收录该内容

2 篇文章 0 订阅

订阅专栏

spark streaming 通过maven管理依赖：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.0.2</version>
</dependency>

数据源可能来自以下组件，其Artifact对应关系如下：

Source	Artifact
Kafka	spark-streaming-kafka-0-8_2.11
Flume	spark-streaming-flume_2.11
Kinesis	spark-streaming-kinesis-asl_2.11 [Amazon Software License]

创建SparkStreaming程序的一个基本流程

流程看起来是固定的，如下所示：

1.创建SparkConf配置文件，appName参数是应用展示在UI上的标志，master是Spark、Mesos或者YARN集群的URL，本地测试时，可以设置为local[] 表示要创建工作线程的数量。在这里创建的上下文对象，可以通过ssc.sparkContext访问到。

SparkConf conf = new SparkConf().setAppName(appName).setMaster(master);

2.创建StreamingContext上下文对象，Duration是流采集的间隔时长。

JavaStreamingContext ssc = new JavaStreamingContext(conf, new Duration(1000));

我们所需的JavaStreamContent对象，也可以通过SparkContent对象创建得到。

import org.apache.spark.streaming.api.java.*;

JavaSparkContext sc = ...   //existing JavaSparkContext
JavaStreamingContext ssc = new JavaStreamingContext(sc, Durations.seconds(1));

3.通过定义DStream来确定数据源。

4.通过使用transformation来定义流计算操作，计算结果生成新的DStream对象。

5.调用streamingContext对象的start方法开始接收处理数据。

6.调用streamingContext的awaitTermination方法，等待处理结束。或者手动调用stop结束数据的处理，但可以出现异常。

DStream

DStream是Spark提供的基本抽象，代表了连续不断的流数据，可以输从输入源采集，也可以是通过transformation变化得到。通常一个DStream是由一系列的RDD组成，RDD是Spark中内容不可变分布数据集。不同的时间采集到的数据装入不同的RDD，组成一个DStream。对DStream进行transformation状态转换操作时，也是对不同的RDD分别进行变化操作。

DStream进行状态转换操作，分为无状态转换和有状态转换。无状态转换，每个批次数据的处理不依赖之前其他批次；而又状态转换，则需要使用之前批次的数据或中间结果。有状态转换分为滑动窗口转换和状态追踪转换（UpdateStateByKey）。