【秒懂StructuredStreaming】手把手教你写StructuredStreaming + Kafka程序

最新推荐文章于 2024-07-04 11:19:43 发布
最新推荐文章于 2024-07-04 11:19:43 发布
阅读量2.1w 收藏 68
点赞数 8
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovechendongxing/article/details/81748553
版权
本文深入讲解如何使用StructuredStreaming从Kafka读取数据，介绍流式DataFrame的创建、基本操作和窗口操作，并展示如何将结果输出到Kafka。重点探讨基于Watermark的Event-Time聚合操作，以及实时流作业的监控方法。
摘要由CSDN通过智能技术生成

      上一篇博客《StructuredStreaming是何方神圣》已经介绍了StructuredStreaming的相关概念，这篇博客我们介绍基于StructuredStreaming进行实时流算子开发，并将结果输出到kafka中。

      StructuredStreaming使用的数据类型是DataFrame和Dataset。

     从Spark 2.0开始，DataFrame和Dataset可以表示静态（有界数据），以及流式（无界数据）。与静态Dataset/ DataFrame类似，用户可以使用公共入口点SparkSession 从流源创建流DataFrame /Dataset，并对它们应用与静态DataFrame / Dataset相同的操作。如果你不熟悉Dataset / DataFrame，请戳《Dataset常用方法》和《DataFrame常用方法》

    接下来，我们以Append输出模式为例，讲解流式DataFrame的创建，基础操作和窗口操作，以及将结果输出到外部存储介质的方法。

1、流式DataFrame创建

    以Kafka作为输入源为例。

    a、引入两个依赖包

        

    b、创建SparkSession入口，用于与集群资源管理器交互

        

    c、指定kafka的地址和端口号，

最低0.47元/天 解锁文章
Spark技术咖
关注
  • 8
    点赞
  • 踩
  • 68
    收藏
    觉得还不错? 一键收藏
  • 32
    评论
Structured Streaming+Kafka 配置问题
搬砖の隔壁老王
03-19 674
使用Structured Streaming处理数据的知识积累。 1、Structured Streaming 在做读取数据的时候，format（）首先会判断加载的数据源是什么（Kafka、MySQL ···）， 2、读取Kafka数据的时候，KafkaSourceProvider 类中的createMicroBatchReader 函数体中有对option() 中设置的Kafka参数...
【笔记】Sturctured Streaming笔记总结（Python版）
哇咔咔哇咔的博客
06-01 945
Spark Streaming笔记总结
Spark Streaming使用Kafka数据源遇到的问题
最新发布
qq_55792362的博客
07-04 459
Spark 结构化流连接Kafka数据源遇到的问题
Structured Streaming系列-4、集成 Kafka
不积跬步无以至千里，不积小流无以成江河
10-10 1010
Structured Streaming系列-4、集成 Kafka
七、Structured Streaming Kafka
嘻哈吼嘿呵的博客
09-09 233
1、pom.xml <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.comp...
Structured Streaming + Kafka 统计Window模型
zhexiao
09-16 637
环境 本次使用全部以单机环境运行，下面附上spark和kafka的主要配置。 spark 版本：spark-2.4.4-bin-hadoop2.7.tgz （https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz） spark-env.sh SPARK_LOCAL_IP=192.16...
Structured Streaming整合kafka
热门推荐
dongyunlon的专栏
01-11 1万+
Structured Streaming整合kafkaSpark2.0以后开始推出Structured Streaming，详情参考上文Spark2.0 Structured Streaming。本文介绍一种常用的方式: Structured Streaming读取kafka数据，并使用spark sql过滤，最终输出到终端。本示例能够读取多个topic数据，并分别映射为Spark内存表，执行多个...
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。...
Spark-Streaming+Kafka+mysql实战示例
12-12
介绍一个使用Spark Streaming和Kafka进行实时数据处理的示例。通过该示例，您将了解到如何使用Spark Streaming和Kafka处理实时数据流，以及如何将处理后的数据保存到MySQL数据库中。示例涵盖了从环境搭建到代码实现...
flume+kafka+sparkstreaming
02-23
通过flume监控文件，让kafka消费flume数据，再将sparkstreaming连接kafka作为消费者进行数据处理，文档整理实现
使用Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析【大数据】
10-29
flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析【大数据】
Structured Streaming + Kafka 构建指南
飞朋的博客
11-19 418
版本依赖 <scala.version>2.11.12</scala.version> <spark.version>2.1.1</spark.version> <!-- Spark - Kafka 依赖 --> <dependency> <groupId>org.apache.spark</gr...
Structured Streaming集成Kafka《官方文档翻译》
Mathieu66的博客
11-14 2385
目录 1. 链接 2. 从Kafka读数据 2.1 从流查询创建Kafka数据源 2.2 从批查询Kafka数据源（spark.readStream变成了spark.read） 3. 向Kafka写数据 3.1 创建流查询Kafka Sink 3.2 创建批查询Kafka Sink 4 Kafka 特有参数配置 1. 链接 groupId = org.apache.spark...
spark structuredstreaming 多流 写入kafka
learner_up的博客
03-18 817
需求： 存在一张离线规则表A，A 中存在两列 gid(规则id),gsql（规则sql） ，一份实时数据，搜索出实时数据中符合规则的数据 A 中数据格式如下： gid gsql 202 column0=0.0 and column6>0 201 column0=0.0 and column7>10.0 实时数据格式如下 timestamp tagvalue 2021-03-18 20:11:53 0.0,0.0,0....
Structed Streaming写入数据到mysql，kafka中
迷途的菜鸟
11-12 1695
structed streaming是spark2.x之后更新的，一句话介绍就是比spark streaming更高级的api工具。 举个例子，当我们做实时单词统计的时候，每一个批次的数据都能统计出来。如果要统计前面几个批次的所有数据该怎么办？在spark streaming里面只能自己实现，而Structed Streaming却帮我们实现好了。 不过了数据统计完成之后该如何输出保存了...
Structed Streaming集成kafka
qq_45769990的博客
05-09 229
读取kafka数据 // 构建SparkSession实例对象，相关配置进行设置 val spark: SparkSession = SparkSession.builder() .appName(this.getClass.getSimpleName.stripSuffix("$")) .master("local[2]") // 设置Shuffle时分区数目 .config("spark.sql.shuffle.partitions", "2"
Structured-Streaming+kafka流式处理
大数据行走论
04-20 1840
Maven项目配置spark Structured Streaming+kafka 结构化数据流中的关键思想是将实时数据流视为一个不断附加的表。这导致新的流处理模型与批处理模型非常相似。您将把流式计算表示为标准批量查询，就像在静态表上一样，Spark将它作为无界输入表上的增量查询来运行。让我们更详细地了解这个模型。基本概念将输入数据流视为“输入表”。每个到达流中的数据项就像一个新的行被添加到输入表...
structure streaming输入源之Kafka源实现
qq_45371603的博客
03-05 262
用生产者程序每0.1s生成一个单词写入kafka一个主题中，spark消费者程序每隔8s对收到的单词词频统计，把结果输出到kafka的另一个主题中 #启动kafka,zookeeper终端 cd /usr/local/kafka bin/zookeeper-server-start.sh config/zookeeper.properties #新建终端，不要关上一个，kafka终端 cd /us...
评论 32
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值