SparkStreaming
一、SparkStreaming简介
SparkStreaming是流式处理框架,是Spark API的扩展,支持可扩展、高吞吐量、容错的实时数据流处理,实时数据的来源可以是:Kafka, Flume, Twitter, ZeroMQ或者TCP sockets,并且可以使用高级功能的复杂算子来处理流数据。例如:map,reduce,join,window 。最终,处理后的数据可以存放在文件系统,数据库等,方便实时展现
SparkStreaming底层操作DStream
二、SparkStreaming与Storm区别
1 Storm是纯实时的流式处理框架,SparkStreaming是准实时的处理框架(微批处理)
因为微批处理, SparkStreaming的吞吐量比Storm要高
2 Storm 的事务机制要比SparkStreaming的要完善,SparkStreaming可以手动管理事务
3 Storm支持动态资源调度,SparkStreaming也支持资源调度,但是一般情况下不开启,为了避免内存给了却要不回来的情况
4 Storm不擅长复杂的业务处理,擅长简单的汇总型计算,SparkStreaming擅长复杂的业务处理,因为在SparkStreaming中可以使用core/sql/机器算法
三、SparkStreaming
1 接收数据原理图
SparkStreaming是7 *24h不间断运行, SparkStreaming启动之后,首先会启动一个job ,这个job有一个task来接收数据, task每隔一-段时间将接收来的数据封装到一-个batch中,“这段时间” 就是batchInterval。 生成的每个batch又被封装到一一个 RDD中,这个RDD又被封装到一一个DStream中, SparkStreaming底层操作的就是DStream。 DStream有 自己的Transformation类算子,懒执行,需要DStream的outputOperator类算子触发执行
2 注意事项
Ø 启动socket server 服务器:nc –lk 9999 在集群使用yum install -y nc安装
Ø receiver模式下接收数据,local的模拟线程必须大于等于2,一个线程接收数据,另一个线程执行job
Ø Durations时间设置就是我们能接收的延迟度。这个需要根据集群的资源情况以及任务的执行情况来调节。
localhost:4040 查看Active Jobs栏数量看是否堆积
Ø 创建JavaStreamingContext有两种方式(SparkConf,SparkContext)
Ø 所有的代码逻辑完成后要有一个output operation类算子
Ø JavaStreamingContext.start() Streaming框架启动后不能再次添加业务逻辑
Ø JavaStreamingContext.stop() 无参的stop方法将SparkContext一同关闭,stop(false),不会关闭SparkContext
Ø JavaStreamingContext.stop()停止之后不能再调用start
3 算子
foreachRDD–针对当前批次的数据
注意
Ø 1 需要Action算子触发
Ø 2 在于foreachRDD内部,RDD转换算子外部之间的信息 (Driver端)每次都执行
在转换算子内部,相当于(–Excutor端–),有数据才执行
SparkStreaming虽不能在运行过程中更改数