【秒懂StructuredStreaming】手把手教你写StructuredStreaming + Kafka程序

最新推荐文章于 2021-12-10 16:30:41 发布
最新推荐文章于 2021-12-10 16:30:41 发布
阅读量2.1w 收藏 68
点赞数 8
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovechendongxing/article/details/81748553
版权

      上一篇博客《StructuredStreaming是何方神圣》已经介绍了StructuredStreaming的相关概念，这篇博客我们介绍基于StructuredStreaming进行实时流算子开发，并将结果输出到kafka中。

      StructuredStreaming使用的数据类型是DataFrame和Dataset。

     从Spark 2.0开始，DataFrame和Dataset可以表示静态（有界数据），以及流式（无界数据）。与静态Dataset/ DataFrame类似，用户可以使用公共入口点SparkSession 从流源创建流DataFrame /Dataset，并对它们应用与静态DataFrame / Dataset相同的操作。如果你不熟悉Dataset / DataFrame，请戳《Dataset常用方法》和《DataFrame常用方法》

    接下来，我们以Append输出模式为例，讲解流式DataFrame的创建，基础操作和窗口操作，以及将结果输出到外部存储介质的方法。

1、流式DataFrame创建

    以Kafka作为输入源为例。

    a、引入两个依赖包

        

    b、创建SparkSession入口，用于与集群资源管理器交互

        

    c、

最低0.47元/天 解锁文章
Spark技术咖
关注
  • 8
    点赞
  • 踩
  • 68
    收藏
    觉得还不错? 一键收藏
  • 32
    评论
Structured Streaming+Kafka 配置问题
搬砖の隔壁老王
03-19 666
使用Structured Streaming处理数据的知识积累。 1、Structured Streaming 在做读取数据的时候，format（）首先会判断加载的数据源是什么（Kafka、MySQL ···）， 2、读取Kafka数据的时候，KafkaSourceProvider 类中的createMicroBatchReader 函数体中有对option() 中设置的Kafka参数...
Structured Streaming系列-4、集成 Kafka
不积跬步无以至千里，不积小流无以成江河
10-10 1001
Structured Streaming系列-4、集成 Kafka
七、Structured Streaming Kafka
嘻哈吼嘿呵的博客
09-09 229
1、pom.xml <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.comp...
Structured Streaming + Kafka 统计Window模型
zhexiao
09-16 628
环境 本次使用全部以单机环境运行，下面附上spark和kafka的主要配置。 spark 版本：spark-2.4.4-bin-hadoop2.7.tgz （https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz） spark-env.sh SPARK_LOCAL_IP=192.16...
Structured Streaming整合kafka
热门推荐
dongyunlon的专栏
01-11 1万+
Structured Streaming整合kafkaSpark2.0以后开始推出Structured Streaming，详情参考上文Spark2.0 Structured Streaming。本文介绍一种常用的方式: Structured Streaming读取kafka数据，并使用spark sql过滤，最终输出到终端。本示例能够读取多个topic数据，并分别映射为Spark内存表，执行多个...
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。...
Spark-Streaming+Kafka+mysql实战示例
最新发布
12-12
介绍一个使用Spark Streaming和Kafka进行实时数据处理的示例。通过该示例，您将了解到如何使用Spark Streaming和Kafka处理实时数据流，以及如何将处理后的数据保存到MySQL数据库中。示例涵盖了从环境搭建到代码实现...
flume+kafka+sparkstreaming
02-23
通过flume监控文件，让kafka消费flume数据，再将sparkstreaming连接kafka作为消费者进行数据处理，文档整理实现
SparkStreaming：Spark Streaming + Flume + Kafka + HBase + Hadoop + Zookeeper实现实时日志分析统计； SpringBoot + Echarts实现数据可视化展示
02-05
生成的数据主要是模拟某学习网站学习视频课程的访问量（其中*以“ / class”开头的表示实战课程，然后通过流水线Flume + Kafka + SparkStreaming进行实时日志的收集，HBase来存储数据）*注意事项（使用的软件工具及...
Structured Streaming + Kafka 构建指南
飞朋的博客
11-19 405
版本依赖 <scala.version>2.11.12</scala.version> <spark.version>2.1.1</spark.version> <!-- Spark - Kafka 依赖 --> <dependency> <groupId>org.apache.spark</gr...
Structured Streaming集成Kafka《官方文档翻译》
Mathieu66的博客
11-14 2374
目录 1. 链接 2. 从Kafka读数据 2.1 从流查询创建Kafka数据源 2.2 从批查询Kafka数据源（spark.readStream变成了spark.read） 3. 向Kafka写数据 3.1 创建流查询Kafka Sink 3.2 创建批查询Kafka Sink 4 Kafka 特有参数配置 1. 链接 groupId = org.apache.spark...
spark structuredstreaming 多流 写入kafka
learner_up的博客
03-18 809
需求： 存在一张离线规则表A，A 中存在两列 gid(规则id),gsql（规则sql） ，一份实时数据，搜索出实时数据中符合规则的数据 A 中数据格式如下： gid gsql 202 column0=0.0 and column6>0 201 column0=0.0 and column7>10.0 实时数据格式如下 timestamp tagvalue 2021-03-18 20:11:53 0.0,0.0,0....
Structed Streaming写入数据到mysql，kafka中
迷途的菜鸟
11-12 1688
structed streaming是spark2.x之后更新的，一句话介绍就是比spark streaming更高级的api工具。 举个例子，当我们做实时单词统计的时候，每一个批次的数据都能统计出来。如果要统计前面几个批次的所有数据该怎么办？在spark streaming里面只能自己实现，而Structed Streaming却帮我们实现好了。 不过了数据统计完成之后该如何输出保存了...
Structed Streaming集成kafka
qq_45769990的博客
05-09 221
读取kafka数据 // 构建SparkSession实例对象，相关配置进行设置 val spark: SparkSession = SparkSession.builder() .appName(this.getClass.getSimpleName.stripSuffix("$")) .master("local[2]") // 设置Shuffle时分区数目 .config("spark.sql.shuffle.partitions", "2"
Structured-Streaming+kafka流式处理
大数据行走论
04-20 1830
Maven项目配置spark Structured Streaming+kafka 结构化数据流中的关键思想是将实时数据流视为一个不断附加的表。这导致新的流处理模型与批处理模型非常相似。您将把流式计算表示为标准批量查询，就像在静态表上一样，Spark将它作为无界输入表上的增量查询来运行。让我们更详细地了解这个模型。基本概念将输入数据流视为“输入表”。每个到达流中的数据项就像一个新的行被添加到输入表...
structure streaming输入源之Kafka源实现
qq_45371603的博客
03-05 258
用生产者程序每0.1s生成一个单词写入kafka一个主题中，spark消费者程序每隔8s对收到的单词词频统计，把结果输出到kafka的另一个主题中 #启动kafka,zookeeper终端 cd /usr/local/kafka bin/zookeeper-server-start.sh config/zookeeper.properties #新建终端，不要关上一个，kafka终端 cd /us...
structedstreaming和kafka的集成
yujie12963854的博客
12-10 884
需要导入的包有 commons-pool2-2.11.1.jar kafka-clients-2.6.0.jar spark-sql-kafka-0-10_2.12-3.1.2.jar spark-token-provider-kafka-0-10_2.12-3.1.2.jar
Structured Streaming整合Kafka实时统计
Joker_Jiang3的博客
07-12 654
Structured Streaming整合Kafka实时统计 一、实时ETL 启动Zookeeper和kafka # 启动zookeeper bin/zkServer.sh start # 启动kafka bin/kafka-server-start.sh -daemon config/server.properties 创建主题 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --part
简述编写structured streaming程序的基本步骤
05-17
编写Structured Streaming程序的基本步骤如下： 1. 从源读取数据：首先需要从一个数据源（例如文件、Kafka等）中读取数据。 2. 定义数据结构：定义从源读取的数据的结构，以便后续的处理和分析。 3. 处理数据：使用DataFrame API或Spark SQL来处理数据，例如过滤、聚合、分组等。 4. 定义输出：定义输出数据的位置和格式，可以输出到文件、Kafka等。 5. 启动流处理：启动流处理作业，并持续不断地从源中读取数据，并对其进行处理和输出。 需要注意的是，在Structured Streaming中，流数据被视为连续不断的数据流，而不是批处理作业。因此，流处理作业应该是可伸缩的，并且能够处理任意量的数据。此外，需要确保流处理作业具有容错性和恢复性，以便在出现故障时能够自动恢复并继续运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 32
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值