【Spark】流式计算简介,什么是SparkStreaming,常见的离线和流式计算框架(八)

SparkStreaming简介

流式计算简介
什么是SparkStreaming
Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等,如图-1。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数据库等。另外Spark Streaming也能和MLlib（机器学习）以及Graphx完美融合。

图-1 sparkStreaming作用
和Spark基于RDD的概念很相似，Spark Streaming使用离散化流(discretized stream)作为抽象表示，叫作DStream。DStream 是随时间推移而收到的数据的序列。在内部，每个时间区间收到的数据都作为RDD存在，而DStream是由这些RDD所组成的序列(因此得名“离散化”)，如图-2所示。

图-2 sparkStreaming底层流程图
DStream可以从各种输入源创建，比如Flume、Kafka或者HDFS。创建出来的DStr