1-structedStreaming-基本流程(2.3.1)

最新推荐文章于 2022-09-22 10:58:46 发布
最新推荐文章于 2022-09-22 10:58:46 发布
阅读量200 收藏
点赞数
文章标签： java spark 大数据 mysql hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/github_28583061/article/details/106385709
版权
本文详细介绍了Spark 2.3.1中结构化流处理的基本流程，包括新定义的接口如DataSourceV2、MicroBatchReader、ContinuousReader等，以及StructuredNetworkWordCount示例的加载数据、查询启动和数据处理过程。重点讨论了微批处理和连续处理模式，并阐述了StreamExecution的执行机制。
摘要由CSDN通过智能技术生成

基本流程 -- spark 2.3.1

新定义接口 -- 中间使用了一些过度接口为了兼容老版本如：BaseStreamingSource

  • DataSource为一个类， 定义了可插拔的数据源，对应一些列旧的数据源
  • DataSourceV2 spark2.3.1新接口，只是一个接口，没有任何方法，需要配合ReadSupport或者WriteSupport接口等一起
    • MicroBatchReadSupport -- 实现创建MicroBatchReader
      • RateSourceProviderV2
    • ContinuousReadSupport -- 低延迟流处理支持接口
  • DataSourceReader -- spark2.3.1接口，优化读取新能
    • MicroBatchReader -- 微批处理模式，从数据微批量读取数据接口
最低0.47元/天 解锁文章
github_28583061
关注
1-structedStreaming-基本流程(2.2.1)
github_28583061的博客
01-03 354
基本流程 spark 2.2.1 StructuredNetworkWordCount 统计来自socket的word count 创建stream，指定数据源 DataStreamReader--从外部存储加载流数据的接口 lines = spark.readStream.format("socket") .option("host"...
Spark Structured Streaming 实时解析mr 任务
wflh323的专栏
06-13 492
Structured Streaming 是spark2.x后引入的实时计算框架。spark一直以来都是以微批来处理数据的，一直做不到毫秒级的实时处理，structured streaming最开始引入时也是用的微批处理数据，spark2.3后面引入了一个新的处理模式真正实现了实时计算，可以实现毫秒级的处理速度。structured streaming 实现了exactly-once ，...
[转载] Spark Structed Streaming执行过程
weixin_33963594的博客
11-30 309
本文转自：https://www.jianshu.com/p/dcfc0b6ae0ea 本站转载已经过作者授权。任何形式的转载都请联系原作者（薛定谔的猫Plus）获得授权并注明出处。 在Struct Streaming中增加了支持sql处理流数据，在sql包中单独处理，其中StreamExecution是下面提到两处流处理的基类，这个流查询在数据源有...
structedStreaming的Trigger
weixin_40659514的博客
09-22 633
spark的trigger
Spark（五）-- Structured Streaming（一） - 回顾
happy-vicky的博客
10-21 483
目录 1. Spark 编程模型的进化过程 1.1 Spark 编程模型的进化过程 1.2 Spark 的 序列化 的进化过程 Step 1: 什么是序列化和序列化 Step 2: 在Spark中的序列化和反序列化的应用场景 Step 3:RDD的序列化 Step 4:DataFrame和Dataset中的序列化 1.3 总结 1. Spark 编程模型的进化过程...
jamon-runtime-2.3.1-API文档-中文版.zip
05-02
赠送原API文档：jamon-runtime-2.3.1-javadoc.jar； 赠送源代码：jamon-runtime-2.3.1-sources.jar； 赠送Maven依赖信息文件：jamon-runtime-2.3.1.pom； 包含翻译后的API文档：jamon-runtime-2.3.1-javadoc-API文档...
unixODBC-2.3.1-14.el7.x86_64.rpm
07-20
标题中的"unixODBC-2.3.1-14.el7.x86_64.rpm"是一个在Linux系统中常见的软件包文件名，它代表了Unix Open Database Connectivity（UnixODBC）的一个版本。UnixODBC是一个开源的ODBC驱动程序管理器，允许Linux和Unix...
unixODBC-devel-2.3.1-14.el7.x86_64_oracle_UNIX_
10-01
标题中的"unixODBC-devel-2.3.1-14.el7.x86_64_oracle_UNIX_"提到了几个关键元素，分别是"unixODBC"、"devel"、"2.3.1"、"14.el7"、"x86_64"和"Oracle UNIX"。这些元素揭示了该软件包是Unix平台上的一个开发版本...
jaxb-api-2.3.1-API文档-中文版.zip
04-23
赠送原API文档：jaxb-api-2.3.1-javadoc.jar； 赠送源代码：jaxb-api-2.3.1-sources.jar； 赠送Maven依赖信息文件：jaxb-api-2.3.1.pom； 包含翻译后的API文档：jaxb-api-2.3.1-javadoc-API文档-中文(简体)版.zip； ...
Spark Structured Streaming框架(2)之数据输入源详解
a567676的博客
09-03 399
　　Spark Structured Streaming目前的2.1.0版本只支持输入源：File、kafka和socket。 1. Socket 　　Socket方式是最简单的数据输入源，如Quick example所示的程序，就是使用的这种方式。用户只需要指定"socket"形式并配置监听的IP和Port即可。 val scoketDF = spark.r...
Spark 的 StructedStreaming
Joker_Jiang3的博客
07-09 708
Spark 的 StructedStreaming 一、Spark Streaming的不足 1、基于微批，延迟高，不能做真正的实时 2、DStream基于RDD，不直接支持SQL 3、流批处理的API应用层不统一（流用的DStream–底层是RDD，批的用DF/DS/RDD） 4、不支持EventTime事件时间 注 EventTime事件时间：事件真正发生的时间 PorcessingTime处理时间：事件被流系统处理的时间 IngestionTime摄入时间：事件到达流系统的时间 如：一条错误日志10
kudu性能优化
longxibendi的专栏
03-19 5041
一.背景 一个实时业务，数据流 app -> nginx ->lua ->kafka -> spark streaming ->kudu ->zepplin 。 打开zepplin，实时数据出不来。看不到。 二.问题分析-结合链路 1.近期流量暴涨，单个用户的使用时长，由1-1.5h增加到 8-10h。 2.大量数据进入kakfa，得不到spa...
Spark Structured Streaming 监控Kafka Lag
王佩的CSDN博客
03-29 2431
Structured Streaming消费Kafka时并不会将Offset提交到Kafka集群。但可以通过以下3种方式间接实现对Kafka Topic Lag的监控。 方式一: Checkpoint 先看下Checkpoint目录的结构: checkpoint/ ├── commits │ ├── 0 │ ├── 1 │ ├── 2 │ └── 3 ├── metadata ├...
八、Structured Streaming低延迟持续处理模式（Continuous Processing和micro-batch processing）
嘻哈吼嘿呵的博客
09-09 1782
一、Continuous Processing基本介绍 1、介绍 连续处理是Spark 2.3中引入的一种新的实验性流执行模式，它支持低延迟(~1 ms)端到端，并保证at-least-once。与默认的微批处理引擎相比，默认的micro-batch processing可以保证exactly-once语义，但最多只能实现约100ms的延迟。对于某些类型的查询(下面将讨论)，您可以选择在不修改...
请问Spark Structured Streaming如何得到上一批次的处理结果
a997002636的博客
04-26 660
我用Spark Structured Streaming处理文件流，但是处理第二批文件流时需要用到第一批的处理结果，但是我的Spark Structured Streaming只能处理当前批次，不能得到上一批次的结果，请问有没有人有过相关经验，请讲解一下，谢谢啦！ ...
Structured Streaming 实现思路与实现概述
gongpulin的博客
10-10 9245
Structured Streaming 实现思路与实现概述 [酷玩 Spark] Structured Streaming 源码解析系列 ，返回目录请 猛戳这里 「腾讯·广点通」技术团队荣誉出品 本文内容适用范围： * 2017.07.11 update, Spark 2.2 全系列 √ (已发布：2.2.0) * 2017.05.02 update, Spark 2.1 全系列
Apache Spark 3.0 结构化Streaming流编程指南
纸上得来终觉浅，绝知此事要躬行
09-06 1042
目录 总览 快速范例 Scala语言 Java语言 Python语言 R语言 程式设计模型 基本概念 处理事件时间和延迟数据 容错语义 使用数据集和数据帧的API 创建流数据框架和流数据集 流数据帧/数据集的模式推断和分区 流式数据帧/数据集的操作 基本操作-选择，投影，汇总 事件时间窗口操作 处理后期数据和加水印 加盟运营 流静态联接 流流连接 内部联接，带有可选水印 流重复数据删除 处理多个水印的政策 任意状态作业 不支持的操作 全球水印的局限性 开
ptpd-2.3.1编译
最新发布
12-30
ptpd-2.3.1是一个用于精确时钟同步的开源软件，编译ptpd-2.3.1的过程如下： 首先，我们需要从官方网站或代码托管平台下载ptpd-2.3.1的源代码压缩包，并将其解压到本地目录中。 接着，打开终端并进入解压后的ptpd-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值