Sparkstreaming中InputDStream的详解（源码）

最新推荐文章于 2021-11-09 12:39:34 发布
原创 最新推荐文章于 2021-11-09 12:39:34 发布 · 3.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #源码 #大数据 #kafka #实时计算

本文详细探讨了Spark Streaming中的SocketInputDStream，它继承自ReceiverInputDStream，利用Receiver从数据源获取信息。讲解了如何通过启动线程获取socket数据流，并用store方法将数据存储在blockManager中，实现实时数据处理。

个人GitHub地址 ：https://github.com/LinMingQiang

以SocketInputDStream为例

继承自ReceiverInputDStream使用Receiver的方式从源数据获取数据解读分两个部分
获取数据

这里写图片描述
获取一个接收数据的类
这里写图片描述
这个类继承 Receiver
Receiver的接收方式需要将数据存在内存或者其他地方，所以Receiver又个内存消耗。
在OnStart里面启动一个线程进行数据获取
获取一个socket的流。然后不停地取和使用store存到blockManager里面

最低0.47元/天 解锁文章
Spark原理与代码实例讲解
AI大模型应用之禅
09-01 505
Spark原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在当今大数据时代，海量的结构化和非结构化数据不断涌现，传统的数据处理方式已经无法满足实时计算和分析的需求。因此，需要一种能够高效处理大规模数据集的新型计算框架。Apache Spar
Spark Streaming源码分析 – InputDStream
weixin_34358365的博客
03-07 155
对于NetworkInputDStream而言，其实不是真正的流方式，将数据读出来后不是直接去处理，而是先写到blocks中，后面的RDD再从blocks中读取数据继续处理这就是一个将stream离散化的过程NetworkInputDStream就是封装了将数据从source中读出来，然后放到blocks里面去的逻辑（Receiver线程）还需要一个可以管理NetworkInputDStream，...
sparkstreaming监听hdfs目录_Spark Streaming编程模型
weixin_39613951的博客
12-18 323
文章来源：加米谷大数据本文将介绍 Spark Streaming 的编程模型，包括 DStream 的操作流程和使用方法。DStream 的操作流程DStream 作为 Spark Streaming 的基础抽象，它代表持续性的数据流。这些数据流既可以通过外部输入源来获取，也可以通过现有的 DStream 的 Transformation 操作来获得。在内部实现上，DStream 由一组时间序列上...
SparkStreaming案例：NetworkWordCount--ReceiverInputDstream的compute方法如何取得Socket预先存放在BlockManager中的数据
luyllyl的博客
02-26 501
1， 还是从这个案例开始object NetworkWordCount {   def main(args: Array[String]) {     if (args.length < 2) {       System.err.println("Usage: NetworkWordCount <hostname> <port>")       System.exi...
SparkStreaming入门（DStream ,Receiver，input DStream)
南国的技术栈
12-24 2360
流计算简介 数据总体上分为静态数据和流数据。对静态数据和流数据的处理，对应着两种截然不同的计算模式：批量计算和实时计算。批量计算以“静态数据”为对象，可以在很充裕的时间内对海量数据进行批处理，计算得到有价值的信息。Hadoop就是很典型的批处理模型，有HDFS和HBase存放大量的静态数据，由MapReduce负责对海量数据执行批量计算。流数据必须采用实时计算，实时计算最重要的一个需求是能够实时得...
Spark Streaming（三）：DStream的transformation操作
liuxiangke0210的专栏
11-01 514
收藏链接：https://www.jb51.net/article/163065.htm 1、updateStateByKey 作用 可以让我们为每个key维护一份state，并持续不断的更新该state； 使用 1、首先，要定义一个state，可以是任意的数据类型； 2、其次，要定义state更新函数——指定一个函数如何使用之前state和新值来更新state； ...
Spark分析（六）Spark Streaming运行流程详解（1）
m0_55939339的博客
11-09 1138
2021SC@SDUSC
Spark Streaming基于案例详解
snail_gesture的博客
05-10 9658
本篇博文将从如下几点组织文章： 一：案例演示 二：源码分析一：案例演示 这里只是贴出源码，后续会对改代码的实战和实验演示都会详细的补充。package com.dt.spark.sparkstreaming import org.apache.spark.SparkConf import org.apache.spark.sql.Row import org.apache.spark.sql.
Spark Streaming之一：StreamingContext解析
Spark MLlib 机器学习
01-21 7481
1.0 前言 目前Spark Streaming编程指南地址： http://spark.apache.org/docs/latest/streaming-programming-guide.html 1.1 创建StreamingContext对象 1.1.1通过SparkContext创建 源码如下： def this(sparkContext:SparkCon
spark-streaming-kafka-0-10源码分析
weixin_30657999的博客
11-02 521
转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/7767621.html 本文所研究的spark-streaming代码版本为2.3.0-SNAPSHOT spark-streaming为了匹配0.10以后版本的kafka客户端变化推出了一个目前还是Experimental状态的spark-streaming-kafka-0-10客户端，由...
Spark实时流计算Java案例
热门推荐
至道
06-07 1万+
现在，网上基于spark的代码基本上都是Scala，很多书上也都是基于Scala，没办法，谁叫spark是Scala写出来的了，但是我现在还没系统的学习Scala，所以只能用java写spark程序了，spark支持java，而且Scala也基于JVM,不说了，直接上代码这是官网上给出的例子，大数据学习中经典案例单词计数 在linux下一个终端 输入 $ nc -lk 9999 然后运行下面的代码
SparkStreaming（二）：DStream操作
学习记录和总结
11-28 1691
SparkStreaming中DStream的创建、转换、输出、关闭......
SparkStreaming kafka direct (直连) 方式源码剖析
weixin_36630761的博客
09-03 434
很常见的一个问题： 你们连接kafka用的是什么方式？ 目前市面上来说一般都是这个： 也就是我们常说的直连模式。 直连模式有什么好处呢？ 最大的好处莫过于我们可以很方便的来控制任务的并行度。具体是如何做到的呢？我们来分析一下源码就一目了然了。 class DirectKafkaInputDStream[K, V] 直接定位到主角DirectKafkaInputDStream 我们看下层级结构： 他是InputDstream的一个具体实现。 我们先看下 compute这个方法..
spark streaming 5: InputDStream
weixin_30416871的博客
02-05 104
spark streaming 5: InputDStream InputDStream的继承关系。他们都是使用InputDStream这个抽象类的接口进行操作的。特别注意ReceiverInputDStream这个类，大部分时候我们使用的是它作为扩展的基类，因为它才能（更容易）使接收数据的工作分散到各个worker上执行，更符合分布式计算的理...
Spark 2.0 streaming中 InputDStream 和 ReceiverInputDStream 的区别
houzhizhen的专栏
12-22 2667
InputStream是所有输入流的抽象基类。 这个类提供start()和stop()方法，这两个方法被Spark 流系统用来启动开始接收数据和停止接收数据。 如果输入流仅在运行在driver结点的服务和线程产生的新数据生成RDD，那么可能直接继承这个InputStream。以FileINputDStream为例，它是InputStream的一个子类，在driver端监控一个HDFS目录，如果有
Spark Streaming 快速入门系列(3) | DStream中如何创建数据源
不温卜火
08-18 4601
  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/   本片博文为大家带来的是DStream 创建。 目录一. RDD.
SparkStreaming在启动执行步鄹和DStream的理解
辉哥大数据
04-13 5336
目录：SparkStreaming启动执行步鄹：DStream和Rdd的理解Linux中发送数据SparkStreaming代码如下结果展示：————————————————————————————————————————–SparkStreaming启动执行步鄹：1、加载SparkConf和StreamingContext 2、建立DStream接收器val lines = ssc.socket
【Spark八十六】Spark Streaming之DStream vs. InputDStream
bit1129的博客
04-02 504
  1. DStream的类说明文档：   /** * A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous * sequence of RDDs (of the same type) representing a continuous stream of ...
SparkStreaming：实时流处理框架详解与实战
SparkStreaming编程讲解 Spark Streaming 是Apache Spark核心API之一，专为实时流数据处理设计，它构建在Spark之上，利用其强大的批处理能力扩展到了流数据处理场景。Spark Streaming的基本思想是将连续的流数据切...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值