Sparkstreaming中InputDStream的详解（源码）

最新推荐文章于 2021-12-09 23:38:40 发布
最新推荐文章于 2021-12-09 23:38:40 发布
阅读量3.6k 收藏 1
点赞数
分类专栏： spark 文章标签： spark 源码 大数据 kafka 实时计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a1043498776/article/details/54892782
版权
本文详细探讨了Spark Streaming中的SocketInputDStream，它继承自ReceiverInputDStream，利用Receiver从数据源获取信息。讲解了如何通过启动线程获取socket数据流，并用store方法将数据存储在blockManager中，实现实时数据处理。
摘要由CSDN通过智能技术生成

个人GitHub地址 ：https://github.com/LinMingQiang

以SocketInputDStream为例

继承自ReceiverInputDStream使用Receiver的方式从源数据获取数据解读分两个部分
获取数据

这里写图片描述
获取一个接收数据的类
这里写图片描述
这个类继承 Receiver
Receiver的接收方式需要将数据存在内存或者其他地方，所以Receiver又个内存消耗。
在OnStart里面启动一个线程进行数据获取
获取一个socket的流。然后不停地取和使用store存到blockManager里面

最低0.47元/天 解锁文章
LonelysWorld
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark Streaming源码分析 – InputDStream
weixin_34358365的博客
03-07 112
对于NetworkInputDStream而言，其实不是真正的流方式，将数据读出来后不是直接去处理，而是先写到blocks中，后面的RDD再从blocks中读取数据继续处理这就是一个将stream离散化的过程NetworkInputDStream就是封装了将数据从source中读出来，然后放到blocks里面去的逻辑（Receiver线程）还需要一个可以管理NetworkInputDStream，...
sparkstreaming监听hdfs目录_Spark Streaming编程模型
weixin_39613951的博客
12-18 270
文章来源：加米谷大数据本文将介绍 Spark Streaming 的编程模型，包括 DStream 的操作流程和使用方法。DStream 的操作流程DStream 作为 Spark Streaming 的基础抽象，它代表持续性的数据流。这些数据流既可以通过外部输入源来获取，也可以通过现有的 DStream 的 Transformation 操作来获得。在内部实现上，DStream 由一组时间序列上...
SparkStreaming案例：NetworkWordCount--ReceiverInputDstream的compute方法如何取得Socket预先存放在BlockManager中的数据
luyllyl的博客
02-26 455
1， 还是从这个案例开始object NetworkWordCount {   def main(args: Array[String]) {     if (args.length < 2) {       System.err.println("Usage: NetworkWordCount <hostname> <port>")       System.exi...
SparkStreaming入门（DStream ,Receiver，input DStream)
南国的技术栈
12-24 2253
流计算简介 数据总体上分为静态数据和流数据。对静态数据和流数据的处理，对应着两种截然不同的计算模式：批量计算和实时计算。批量计算以“静态数据”为对象，可以在很充裕的时间内对海量数据进行批处理，计算得到有价值的信息。Hadoop就是很典型的批处理模型，有HDFS和HBase存放大量的静态数据，由MapReduce负责对海量数据执行批量计算。流数据必须采用实时计算，实时计算最重要的一个需求是能够实时得...
Spark 2.0 streaming中 InputDStream 和 ReceiverInputDStream 的区别
houzhizhen的专栏
12-22 2582
InputStream是所有输入流的抽象基类。 这个类提供start()和stop()方法，这两个方法被Spark 流系统用来启动开始接收数据和停止接收数据。 如果输入流仅在运行在driver结点的服务和线程产生的新数据生成RDD，那么可能直接继承这个InputStream。以FileINputDStream为例，它是InputStream的一个子类，在driver端监控一个HDFS目录，如果有
Spark分析（六）Spark Streaming运行流程详解（1）
m0_55939339的博客
11-09 1029
2021SC@SDUSC
Sparkstreaming常用算子详解
踏雪无痕
06-20 1746
一.基本算子 二.updateStateByKey updateStateByKey操作可以保持任意状态，同时不断用新信息更新它。要使用此功能，必须执行两个步骤。 定义状态-状态可以是任意数据类型。 定义状态更新功能-使用功能指定如何使用输入流中的先前状态和新值来更新状态。 在每个批次中，Spark都会对所有现有密钥应用状态更新功能，而不管它们是否在批次中具有新数据。如果更新函数返回，None将删除键值对。 让我们用一个例子来说明。假设要保持在文本数据流中看到的每个单词的连续计数。此处，运行计数是状态
Spark Streaming 监控UI详解
freeRoad
09-13 2567
本文作为学习总结，文中引用到其他作者很多知识，对原作者表示感谢。 Table of Contents Spark 基本概念 Spark 监控的三个阶段 Spark Driver 阶段 Spark Executor阶段 Spark Streaming阶段 Spark 基本概念 Job job是application的组成单位。 A job is triggered by an ac...
Spark分析（十一）Spark Streaming运行流程详解（6）
m0_55939339的博客
12-09 1588
2021SC@SDUSC
SparkStreaming（二）：DStream操作
学习记录和总结
11-28 1497
SparkStreaming中DStream的创建、转换、输出、关闭......
【Spark八十六】Spark Streaming之DStream vs. InputDStream
bit1129的博客
04-02 457
  1. DStream的类说明文档：   /** * A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous * sequence of RDDs (of the same type) representing a continuous stream of ...
spark streaming 提交offset不是你想的那样
随心所欲
04-01 1586
背景： 需要用streaming+kafka消费一批数据，数据处理的过程中可能会有一些问题，导致没有消费成功，所以想记录每个分区消费的offset，在创建createDirectStream的时候指定offset。 测试过程中发现除了第一次指定的offset生效外，后续依然会从untilOffset消费，并非自己手动提交的offset位置。通过扒源码发现是自己对offset的理解...
spark-streaming-kafka-0-10源码分析
weixin_30657999的博客
11-02 467
转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/7767621.html 本文所研究的spark-streaming代码版本为2.3.0-SNAPSHOT spark-streaming为了匹配0.10以后版本的kafka客户端变化推出了一个目前还是Experimental状态的spark-streaming-kafka-0-10客户端，由...
SparkStreaming与Kafka集成问题汇总
weixin_39684625的博客
05-29 1586
!!!!!!!!!!spark的启动：./bin/spark.shell1、SparkStreaming从Kafka中取出数据进行计算，其Kafka的生产者还是用上一篇博客的producer.java2、SparkStreaming拉取数据：用maven管理：（1）pom.xml文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmln...
org.apache.spark.rdd.MapPartitionsRDD cannot be cast to org.apache.spark.streaming.kafka010.HasOffse
JasonLee实时计算
01-05 4815
最近有很多同学来问我这个问题,说我的代码啥也没改呀,昨天晚上还运行的好好的,第二天早上再运行就报错了,org.apache.spark.rdd.MapPartitionsRDD cannot be cast to org.apache.spark.streaming.kafka010.HasOffsetRanges,怎么都运行不了,这个错相信大家都非常的熟悉,就是一个类型转换异常,从报错上看呢,说...
spring-sparkstreaming-kafka10集成实现和疑难杂症解决
if(true){ I love it }
07-10 7586
一.前期准备 1.开发环境 window7 eclipse jdk1.8 2.linux环境 zookeeper-3.4.8 hadoop-2.6.4 spark-1.6.0 scala-2.10.6 kafka_2.10-0.10.1.0 各环境的安装和部署请自行准备。 二.疑难杂症 1. spark+scala+kafka版本要一致 2. org.apache.sp
0018.scala文件的读取写入操作代码
njiang的专栏
11-22 3355
scala文件的读取写入操作代码
spark-streaming+kafka 出现org.apache.spark.SparkException: java.lang.IllegalArgumentException
u010379814的专栏
04-28 1714
启动spark-streaming 出现以下错误的原因：             可能是项目使用的jar包中的kafka版本跟服务器端的kafka版本不一致，解决方法：检查spark集群中kafka的jar版本号，调整项目中引用的kafka版本org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in s...
spark streaming 集成 kafka 详解
最新发布
03-16
Spark Streaming 可以从 Kafka 中读取数据流，并对其进行实时处理和分析。具体来说，Spark Streaming 可以将 Kafka 中的数据流分成一系列小批次，然后对每个小批次进行处理。这种方式可以实现低延迟的实时数据处理。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值