streaming
CODE男孩
你只是看起来很努力
展开
-
spring-sparkstreaming-kafka10集成实现以及可能出现的部分问题(DirectKafkaInputDStream 无法序列化)
本文所研究的spark-streaming代码版本为2.3.0-SNAPSHOT spark-streaming为了匹配0.10以后版本的kafka客户端变化推出了一个目前还是Experimental状态的spark-streaming-kafka-0-10客户端,由于老的0.8版本无法支持kerberos权限校验,需要研究下spark-streaming-kafka-0-10的源码实现以及系统架...原创 2018-07-02 10:43:24 · 4372 阅读 · 0 评论 -
spark streaming 广播变量的测试
最近写的一个流式的程序需要从redis 中获取变量信息,并广播,其中redis里面的信息是变动的,要求广播变量也要跟着改变,下面是测试代码:val dStream = KafkaUtils.createDirectStream[String, String]( ssc, PreferConsistent, Subscribe[String, String](topic...原创 2018-07-16 11:07:52 · 636 阅读 · 1 评论 -
Spark2.3.0 结构化流 进行streaming+kafka的可操作算子流
工作上正在进行Streaming算子的研究学习,需要做到在流的基础上,通过kafka接收数据到 中间若干的计算算子,再到最后的输出。开始使用传统的streaming+kafka,但由于无法返回后续使用的dataset,只能放弃, 后来大牛提出永spark的结构化流处理,于是经过参考文档资料编写了一个可以进行过程处理的streaming处理流程。(只有与主题相关的代码,其余设计工作的没贴,看看实现思...原创 2018-07-03 11:27:07 · 1089 阅读 · 0 评论 -
Streaming学习
Streaming官方文档原创 2018-06-28 14:16:53 · 281 阅读 · 0 评论 -
java8实现spark streaming的wordcount
概念这里就不说了,从案例开始,惯例,hellowrod,哦不,wordcount。 要计算从一个监听 TCP socket 的数据服务器接收到的文本数据(text data)中的字数。 主体代码部分跟spark相差不大,毕竟DStream是RDD产生的模板(或者说类)。1.导入了 Spark Streaming 类 <dependency> <groupId>...原创 2018-06-28 14:17:25 · 1789 阅读 · 0 评论 -
java8下spark-streaming结合kafka编程(spark 2.3 kafka 0.10)
前面有说道spark-streaming的简单demo,也有说到kafka成功跑通的例子,这里就结合二者,也是常用的使用之一。1.相关组件版本 首先确认版本,因为跟之前的版本有些不一样,所以才有必要记录下,另外仍然没有使用scala,使用java8,spark 2.0.0,kafka 0.10。2.引入maven包 网上找了一些结合的例子,但是跟我当前版本不一样,所以根本就成功不了,所以探究了下,...原创 2018-06-28 14:23:11 · 10440 阅读 · 2 评论 -
【秒懂StructuredStreaming】StructuredStreaming是何方神圣
目录一、为何要有StructuredStreaming二、StructuredStreaming的特性1、结构化流式处理2、基于Event-Time聚合&延迟数据处理3、容错性Structured Streaming是Spark新提出的一种实时流的框架,以前是Spark Streaming。那么这两者有什么区别呢,为什么有了Spark Streaming,还要提出S...转载 2018-09-30 14:31:38 · 889 阅读 · 0 评论 -
【秒懂StructuredStreaming】手把手教你写StructuredStreaming + Kafka程序
这篇博客我们介绍基于StructuredStreaming进行实时流算子开发,并将结果输出到kafka中。 StructuredStreaming使用的数据类型是DataFrame和Dataset。 从Spark 2.0开始,DataFrame和Dataset可以表示静态(有界数据),以及流式(无界数据)。与静态Dataset/ DataFrame类似,用户可以使用公共入...转载 2018-09-30 14:33:24 · 1858 阅读 · 0 评论