Queries with streaming sources must be executed with writeStream.start()

最新推荐文章于 2021-09-06 16:36:03 发布
最新推荐文章于 2021-09-06 16:36:03 发布
阅读量4.7k 收藏
点赞数
分类专栏： 大数据-spark
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/87253894
版权
大数据-spark 专栏收录该内容
202 篇文章 478 订阅 ¥49.90 ¥99.00
订阅专栏

1.美图

在这里插入图片描述

2.背景

原始代码

package com.lcc.spark.structed.streaming;

import com.lcc.spark.structed.streaming.conf.MyConfig;
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
spark/java: Queries with streaming sources must be executed with writeStream.start()；
weixin_45730125的博客
07-06 597
Exception in thread “main” org.apache.spark.sql.AnalysisException: Queries with streaming sources must be executed with writeStream.start();https://www.waitingforcode.com/apache-spark-structured-streaming/org.apache.spark.sql.analysisexception-queries-with
spark消费kafka数据报错 Queries with streaming sources must be executed with writeStream.start()；
lbl251的博客
12-07 2605
有3年没有写spark了一切都是这么陌生MD. 今天跑下还报错， 解决参考： https://stackoverflow.com/questions/40609771/queries-with-streaming-sources-must-be-executed-with-writestream-start
pyspark.sql.utils.AnalysisException: u‘java.lang.IllegalArgumentException: Wrong FS
妙妙的博客
09-06 2128
问题 用pyspark写了程序，但是在跑的过程中报 pyspark.sql.utils.AnalysisException: u'java.lang.IllegalArgumentException: Wrong FS: hdfs:// 现有代码的配置信息 spark = SparkSession.builder.appName(spark_application_name). \ config('spark.port.maxRetries', 500). \ config('spark.d
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二十五）Structured Streaming：同一个topic中包含一组数据的多个部分，按照key它们拼接为一条记录（以及...
weixin_34067980的博客
08-28 115
需求： 目前kafka的topic上有一批数据，这些数据被分配到9个不同的partition中（就是发布时key:{m1,m2,m3,m4...m9},value:{records items}），mx(m1,m2...m9)这些数据的唯一键值：int_id+start_time，其中int_id和start_time是topic record中的记录。这9组数据按照唯一键值可以拼接（m1.pr...
Building Data Streaming Applications with Apache Kafka
01-26
Apache Kafka is a popular ...By the end of this book, you will have all the information you need to be comfortable with using Apache Kafka and to design efficient streaming data applications with it.
藏经阁-Online Learning with Structured Streaming.pdf
09-04
Structured Streaming的优点在于可以处理高-throughput、低延迟的流式数据，并提供了强大的数据处理能力。 在本文中，我们将在线学习技术与结构化流处理结合，实现实时机器学习。我们将讨论在线学习的概念、在线...
Streaming XML with xmpp.pdf
07-25
Streaming XML with xmpp.pdf
藏经阁-Auto Scaling Systems With Elastic Spark Streaming.pdf
08-28
Auto Scaling Systems With Elastic Spark Streaming 本资源摘要信息主要介绍 Auto Scaling Systems With Elastic Spark Streaming 的知识点，涉及到流处理、Spark Streaming、Elastic Spark Streaming 和 Auto ...
libvorbis-1.1.2.rar_With Benefits_libvorbis_libvorbis 1.1
09-24
Ogg Vorbis is a completely open, patent-free, professional audio encoding and streaming technology with all the benefits of Open Source.
spark -- Structured Streaming实战代码案例 Structured Streaming输出详解 读取socket实时数据 读取目录下文本数据
kismet
04-20 2930
Structured Streaming输出详解 1.output mode：以哪种方式将result table的数据写入sink 2.format/output sink的一些细节：数据格式、位置等。 3.query name：指定查询的标识。类似tempview的名字 4.trigger interval：触发间隔，如果不指定，默认会尽可能快速地处理数据 5.checkpoint地址：一...
复杂事件处理技术调研
九师兄
09-21 1271
文章目录1. 什么是复杂事件处理2.复杂事件处理引擎2.1 Esper入门 1. 什么是复杂事件处理 https://blog.csdn.net/zhangzhengming/article/details/5708908 2.复杂事件处理引擎 2.1 Esper入门 ...
Spark2.0 Structured Streaming
dongyunlon的专栏
08-07 1万+
Spark2.0新特性，DataFrame和DataSet进行了整合，极大的优化了SparkSQL引擎的运行速度，在此基础上，将Spark Streaming和Spark SQL进行了整合，增加了新的特性Structured Streaming，能够使用标准的SQL语句处理实时的数据流
Streaming single image with ffmpeg
空空的世界
05-10 713
I need to disable live video broadcast for a day or two. If I stop streaming service the flash player will wait for input. Not nice for end users who will report it as an error. It would be nice to sh
Structured Streaming总结
啊晨
07-23 773
文章目录写在前面关于介绍API主要学习读取Socket数据读取目录下文本数据整合Kafka整合环境准备代码实现整合MySQL代码实现 写在前面 晚上好我是啊晨 ，一个大数据分享者 今天说一下Spark的Structured Streaming，工作中据我了解不是很多，但也有使用。 毕竟是微批处理的，做标准实时的话，还要看flink。 如有需要flink文章请阅读我的其它大数据文章，谢谢 中间有什么问题请留言，请珍惜现在的时间： 关于介绍 这个建议大家看官网，写的非常详细，毕竟官网学习还是很有效率的。官
Sparksql 一个错误：org.apache.spark.sql.AnalysisException: character '　' not supported here;
热门推荐
mtj66的博客，交流WX:SpringBreeze1104
09-21 2万+
遇到如下错误，但是在hive中单独运行，或者是在spark-shell中单独运行的也是毫无问题的，为何偏偏在sparksql中出问题，而且不存在所说的那个 character ’　’ 。 还有就是我这个临时表本来是采用insert overwrite的也是正确的。 或许应该是，解析有点问题。错误日志： Exception in thread “main” org.apache.spark.sq
关于在使用sparksql写程序是报错以及解决方案：org.apache.spark.sql.AnalysisException: Duplicate column(s): "name" found,
qq_32253371的博客
02-11 6876
val conf = new SparkConf().setMaster("local[2]").setAppName("Load_Data") val sc = new SparkContext(conf) val ssc = new sql.SparkSession.Builder() .appName("Load_Data_01") .master("local[2]"...
ROS安装配置与语法介绍文档、ROS代码文档、树莓派与ROS结合使用等相关文档
最新发布
07-08
ROS安装配置与语法介绍文档、ROS代码文档、树莓派与ROS结合使用等相关文档
Queries with streaming sources must be executed with writeStream.start
09-18
### 回答1： 好的，我明白了。针对你的问题，Queries with streaming sources must be executed with writeStream.start，这句话的意思是：当存在流式数据源时，查询必须使用 writeStream.start() 方法启动执行。这可以确保查询能够持续地处理来自流数据源的数据，并将结果写入流目的地。如果你使用的是 Spark SQL 或 Structured Streaming，那么这个方法非常重要。希望我的回答对你有所帮助。 ### 回答2： 查询流数据源必须使用writeStream.start()方法进行执行。 在使用Apache Spark结构化流处理时，我们可以使用DataFrame和Dataset API来处理流数据。当我们需要从数据流中提取特定信息或执行一些聚合操作时，我们可以使用查询来实现。 但是，要处理数据流的查询，我们需要使用writeStream.start()方法来启动查询的执行。这是因为流数据源是连续的、无限的数据流，无法像批处理一样一次性执行查询。 writeStream.start()方法将启动查询执行，并且会启动一个后台的数据流处理引擎，该引擎会不断地接收和处理输入的数据流。启动后的查询会持续运行，并将查询结果写入特定的输出目标。 此外，我们还可以为查询设置不同的配置选项，例如查询所需的处理时间间隔、输出模式等。 在执行writeStream.start()方法后，如果我们想停止查询的执行，可以使用stop()方法来手动停止查询。此时，数据流处理引擎将停止处理新的输入数据，并且会完成并输出正在进行的查询结果。 总而言之，要执行查询并处理流数据源，我们必须使用writeStream.start()方法。这是实现流数据处理的关键步骤，可以确保我们持续地从数据流中获取想要的结果。 ### 回答3： 当我们使用流式数据源（streaming sources）进行查询的时候，需要使用writeStream.start()来执行查询。 在Spark结构化流（Structured Streaming）中，将数据源与查询进行集成的主要方法是将数据源读取为流（streaming source），然后对该流进行查询操作（例如过滤、转换、聚合等）。 通过使用writeStream.start()，我们可以启动一个流式查询，并将其连接到数据源。该操作将触发实时的数据流处理过程，并将结果输出到指定的输出源。 writeStream.start()方法接受一组参数，例如输出源（output sink）、处理模式（processing mode）、检查点目录（checkpoint directory）等。这些参数用于配置查询的执行方式。 在调用writeStream.start()之前，我们通常还需要设置各种查询的属性，例如查询的输出模式（output mode）以及触发器间隔（trigger interval）等。 启动流式查询后，Spark会自动执行一系列的步骤，包括从数据源读取数据、对数据进行转换和处理、将处理后的结果写入输出源等。 需要注意的是，执行流式查询是一个长期运行的过程，因为数据源是实时读取并且查询会实时处理新进入的数据。因此，在调用writeStream.start()之后，查询会一直运行，直到我们主动停止它，或者发生错误等特定条件。 综上所述，通过writeStream.start()来执行查询是使用流式数据源进行实时数据处理的关键步骤。它可以将数据源转换为流，并触发查询的执行过程，以便获取实时的查询结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值