第一章 Spark Streaming引入
1.1. 新的场景需求
思考一下下面这样的场景需求, 仅仅通过传统的批处理/离线处理/离线计算/处理历史数据可以完成吗?
● 商品推荐
京东和淘宝这样的商城在购物车, 商品详情等地方都有商品推荐的模块
商品推荐的要求
-
快速的处理, 加入购物车以后就需要迅速的进行推荐
-
数据量大
-
需要使用一些推荐算法
●工业大数据
现在的工场中, 设备是可以联网的, 汇报自己的运行状态, 在应用层可以针对这些数据来分析运行状况和稳健程度, 展示工件完成情况, 运行情况等
工业大数据的需求 -
快速响应, 及时预测问题
-
数据是以事件的形式动态的产品和汇报
-
因为是运行状态信息, 且一般都是几十上百台机器, 所以汇报的数据量很大
●集群监控
一般的大型集群和平台, 都需要对其进行监控
监控的需求 -
要针对各种数据库, 包括 MySQL, HBase 等进行监控
-
要针对应用进行监控, 例如 Tomcat, Nginx, Node.js 等
-
要针对硬件的一些指标进行监控, 例如 CPU, 内存, 磁盘 等
-
这些工具的日志输出是非常多的, 往往一个用户的访问行为会带来几百条日志, 这些都要汇报, 所以数据量比较大
-
要从这些日志中, 聚合系统运行状况
● 还有很多很多
1.2. Spark Streaming介绍
-
官网
http://spark.apache.org/streaming/
-
概述
Spark Streaming是一个基于Spark Core之上的实时计算框架,可以从很多数据源消费数据并对数据进行实时的处理,具有高吞吐量和容错能力强等特点。
-
Spark Streaming的特点
1.易用
可以像编写离线批处理一样去编写流式程序,支持java/scala/python语言。2.容错
SparkStreaming在没有额外代码和配置的情况下可以恢复丢失的工作。3.易整合到Spark体系
流式处理与批处理和交互式查询相结合。
1.3. 实时计算所处的位置
第二章 Spark Streaming原理
2.1. Spark基本原理
一个应用Application由一个任务控制节点Driver和若干个作业Job构成,一个作业由多个阶段Stage构成,一个阶段由多个任务Task组成TaskSet。
当执行一个应用时,任务控制节点会向集群管理器ClusterManager申请资源,启动Executor,并向Executor发送应用程序代码和文件,然后在Executor上执行task。
2.2. SparkStreaming原理
2.2.1. 整体流程
Spark Streaming中,会有一个接收器组件Receiver,作为一个长期运行的task跑在一个Executor上。Receiver接收外部的数据流形成input DStream
DStream会被按照时间间隔划分成一批一批的RDD,当批处理间隔缩短到秒级时,便可以用于处理实时数据流。时间间隔的大小可以由参数指定,一般设在500毫秒到几秒之间。
对DStream进行操作就是对RDD进行操作,计算处理的结果可以传给外部系统。
Spark Streaming的工作流程像下面的图所示一样,接受到实时数据后,给数据分批次,然后传给Spark Engine处理最后生成该批次的结果。
2.2.2. 数据抽象
Spark Streaming的基础抽象是DStream(Discretized Stream,离散化数据流,连续不断的数据流),代表持续性的数据流和经过各种Spark算子操作后的结果数据流
可以从以下多个角度深入理解DStream。
- 1.DStream本质上就是一系列时间上连续的RDD
- 2.对DStream的数据的进行操作也是按照RDD为单位来进行的
-
3.容错性
- 每一个椭圆形表示一个RDD
- 椭圆形中的每个圆形代表一个RDD中的一个Partition分区
- 每一列的多个RDD表示一个DStream(图中有三列所以有三个DStream)
- 每一行最后一个RDD则表示每一个Batch Size所产生的中间结果RDD
-
4.准实时性/近实时性
Spark Streaming将流式计算分解成多个Spark Job,对于每一时间段数据的处理都会经过Spark DAG图分解以及Spark的任务集的调度过程。
对于目前版本的Spark Streaming而言,其最小的Batch Size的选取在0.5~5秒钟之间
所以Spark Streaming能够满足流式准实时计算场景,对实时性要求非常高的如高频实时交易场景则不太适合 -
总结
简单来说DStream就是对RDD的封装,你对DStream进行操作,就是对RDD进行操作
对于DataFrame/DataSet/DStream来说本质上都可以理解成RDD
2.3. DStream相关操作
DStream上的操作与RDD的类似,分为以下两种:
Transformations(转换)
Output Operations(输出)/Action
2.3.1. Transformations
● 常见Transformation—无状态转换:每个批次的处理不依赖于之前批次的数据
Transformation | Meaning |
---|---|
map(func) | 对DStream中的各个元素进行func函数操作,然后返回一个新的DStream |
flatMap(func) | 与map方法类似,只不过各个输入项可以被输出为零个或多个输出项 |
filter(func) | 过滤出所有函数func返回值为true的DStream元素并返回一个新的DStream |
union(otherStream) | 将源DStream和输入参数为otherDStream的元素合并,并返回一个新的DStream. |
reduceByKey(func, [numTasks]) | 利用func函数对源DStream中的key进行聚合操作,然后返回新的(K,V)对构成的DStream |
join(otherStream, [numTasks]) | 输入为(K,V)、(K,W)类型的DStream,返回一个新的(K,(V,W)类型的DStream |
transform(func) | 通过RDD-to-RDD函数作用于DStream中的各个RDD,可以是任意的RDD操作,从而返回一个新的RDD |
● 特殊的Transformations—有状态转换:当前批次的处理需要使用之前批次的数据或者中间结果。
有状态转换包括基于追踪状态变化的转换(updateStateByKey)和滑动窗口的转换
1.UpdateStateByKey(func)
2.Window Operations 窗口操作
2.3.2. Output/Action
Output Operations可以将DStream的数据输出到外部的数据库或文件系统
当某个Output Operations被调用时,spark streaming程序才会开始真正的计算过程(与RDD的Action类似)
Output Operation | Meaning |
---|---|
print() | 打印到控制台 |
saveAsTextFiles(prefix, [suffix]) | 保存流的内容为文本文件,文件名为"prefix-TIME_IN_MS[.suffix]". |
saveAsObjectFiles(prefix,[suffix]) | 保存流的内容为SequenceFile,文件名为 “prefix-TIME_IN_MS[.suffix]”. |
saveAsHadoopFiles(prefix,[suffix]) | 保存流的内容为hadoop文件,文件名为"prefix-TIME_IN_MS[.suffix]". |
foreachRDD(func) | 对Dstream里面的每个RDD执行func |