SparkStreaming

SparkStreaming

一、SparkStreaming简介

​ SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。例如：map,reduce,join,window 。最终，处理后的数据可以存放在文件系统，数据库等，方便实时展现

​ SparkStreaming底层操作DStream

二、SparkStreaming与Storm区别

1 Storm是纯实时的流式处理框架，SparkStreaming是准实时的处理框架（微批处理）

​ 因为微批处理， SparkStreaming的吞吐量比Storm要高

2 Storm 的事务机制要比SparkStreaming的要完善，SparkStreaming可以手动管理事务

3 Storm支持动态资源调度，SparkStreaming也支持资源调度，但是一般情况下不开启，为了避免内存给了却要不回来的情况

4 Storm不擅长复杂的业务处理，擅长简单的汇总型计算，SparkStreaming擅长复杂的业务处理，因为在SparkStreaming中可以使用core/sql/机器算法

三、SparkStreaming

1 接收数据原理图

​ SparkStreaming是7 *24h不间断运行, SparkStreaming启动之后,首先会启动一个job ,这个job有一个task来接收数据, task每隔一-段时间将接收来的数据封装到一-个batch中，“这段时间” 就是batchInterval。 生成的每个batch又被封装到一一个 RDD中,这个RDD又被封装到一一个DStream中, SparkStreaming底层操作的就是DStream。 DStream有 自己的Transformation类算子，懒执行，需要DStream的outputOperator类算子触发执行

2 注意事项

Ø 启动socket server 服务器：nc –lk 9999 在集群使用yum install -y nc安装

Ø receiver模式下接收数据，local的模拟线程必须大于等于2，一个线程接收数据，另一个线程执行job

Ø Durations时间设置就是我们能接收的延迟度。这个需要根据集群的资源情况以及任务的执行情况来调节。

​ localhost:4040 查看Active Jobs栏数量看是否堆积

Ø 创建JavaStreamingContext有两种方式（SparkConf,SparkContext）

Ø 所有的代码逻辑完成后要有一个output operation类算子

Ø JavaStreamingContext.start() Streaming框架启动后不能再次添加业务逻辑

Ø JavaStreamingContext.stop() 无参的stop方法将SparkContext一同关闭，stop(false)，不会关闭SparkContext

Ø JavaStreamingContext.stop()停止之后不能再调用start

3 算子

foreachRDD–针对当前批次的数据

注意

Ø 1 需要Action算子触发

Ø 2 在于foreachRDD内部，RDD转换算子外部之间的信息 (Driver端)每次都执行

在转换算子内部，相当于(–Excutor端–)，有数据才执行

SparkStreaming虽不能在运行过程中更改数