Flink SQL含有聚合算子时无法直接print报错

最新推荐文章于 2023-12-19 12:00:06 发布
最新推荐文章于 2023-12-19 12:00:06 发布
阅读量477 收藏 1
点赞数
分类专栏： Flink问题 文章标签： flink sql big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44484525/article/details/122230458
版权

Flink SQL含有聚合算子时无法直接print

Exception in thread "main" org.apache.flink.table.api.TableException: AppendStreamTableSink doesn't support consuming update and delete changes which is produced by node Rank(strategy=[UndefinedStrategy], rankType=[ROW_NUMBER], rankRange=[rankStart=1,
最低0.47元/天 解锁文章
LPLNGU
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink SQL Print Connector
SmartSi
04-10 2010
Flink 版本：1.13 1. 简介 Print Connector 可以将每一行数据输出到标准输出流以及标准错误流中。它是专门为如下场景设计的： 在流式作业中进行简单测试。 在生产环境进行调试。 Print Connector 只能作为 Sink 输出表，不能作为 Source 输入表。Print Connector 会有如下四种可能的输出格式： Print 条件1 条件2 PRINT_IDENTIFIER:taskId> output 设置 print-identifie.
flinksql bug：doesn‘t support consuming update and delete changes which is produced by
最新发布
Direction_Wind的博客
07-05 188
处理办法：不输出rn就好了，很奇怪 有个相同的场景，输出rn 也不报错，但是那个中间做了一些处理逻辑，分析是 处理逻辑 导致下游的回撤场景发生了不同。从我个人的代码中 我分析出，回撤流场景，有rownumber()场景，并使用inner join ，下游输出了rn，导致报错。这句话有两个变量 一个是 StreamPhysicalOverAggregate 另一个是 node Join。表示 前一个算子 因为 后一个算子 而不支持更新和删除操作，简单点说就是 这个代码不支持回撤流场景，
Flink SQL Print
wangleigiser的博客
02-15 2466
应安全部门要求，系统对taskmanager.log日志展示数据条数进行了限制。如果您有排查脏数据或特定数据等需求，建议在Where条件中指定业务场景相关条件后，进行print操作，以避免因为2000条的数据条数限制导致无法排查。因为print sink数据输出为info日志，所以如果您需要查看print结果表的结果数据，则需要将日志级别调至info。否则，会查不到结果数据。
Flink Print SQL Connector 添加随机取样功能
JasonLee实时计算
05-20 241
Flink 提供了 Print SQL Connector 可以让我们非常方便的把数据打印到标准输出.有助于我们测试 SQL 任务,检验数据的正确性.但是在生产环境中,上游的数据量是非常大的,如果直接把数据输出的话,可能会把标准输出文件打满,造成页面卡死的情况,反而不利于我们观测数据,所以我们可以对 Print SQL Connector 进行简单的改造,加一个随机取样的参数控制数据输出.直接把 ...
Flink系列之：Print SQL连接器
zhengzaifeidelushang的博客
12-19 981
输出字符串格式为 “$row_kind(f0,f1,f2…)“，row_kind是一个 RowKind 类型的短字符串，例如：”+I(1,1)"。注意 在任务运行时使用 Print Sinks 打印记录，你需要注意观察任务日志。Print 连接器允许将每一行写入标准输出流或者标准错误流。或者，也可以通过 LIKE子句 基于已有表的结构去创建新表。Print 连接器是内置的。
【Flink1.14实战】Docker环境 Print SQL 连接器
一片冰心
04-16 603
Print SQL 连接器 Print 连接器允许将每一行写入标准输出流或者标准错误流。 设计目的： 简单的流作业测试。 对生产调试带来极大便利。 如何创建一张基于 Print 的表 CREATE TABLE print_table ( f0 INT, f1 INT, f2 STRING, f3 DOUBLE ) WITH ( 'connector' = 'print' ) 或者，也可以通过 LIKE子句基于已有表的结构去创建新表。 CREATE TABLE print_table WITH
Flink SQL大数据项目实战（基于Flink1.14.3版本）
09-15
Flink SQL大数据项目实战课程以FlinkSQL流批一体技术为主线，全面讲解Flink Table编程、SQL编程、Time与WaterMark、Window操作、函数使用、元数据管理，最后以一个完整的实战项目为例，详细讲解FlinkSQL的流式项目...
flink-sql集成rabbitmq
06-29
标题中的“flink-sql集成rabbitmq”指的是将Apache Flink的数据流处理能力与RabbitMQ消息队列系统相结合，实现数据的实时处理和传输。Flink是一个开源的流处理框架，提供低延迟、高吞吐量的数据处理，而RabbitMQ是一...
【FlinkSql篇02】FlinkSql之Table操作1
08-04
FlinkSql之Table操作1 FlinkSql是 Apache Flink 的一个SQL解析引擎，它提供了对结构化数据的查询、转换和分析能力。Table是FlinkSql中的一种核心概念，表示的是一个结构化的数据集。在本篇文章中，我们将详细介绍...
基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库课程
10-26
在构建实时数据仓库的过程中，Flink、FlinkCDC、FlinkSQL和Clickhouse这四个关键技术起着至关重要的作用。本文将深入探讨这些技术，并结合2022年新课中的内容，详细介绍如何利用它们构建高效的实时数据处理系统。 ...
Flink SQL的打印输出的几种方式
热门推荐
qq_31866793的博客
07-23 1万+
打广告！！！！！！！！！！！！！！！！！！！！！！！！！： 先跟鸡哥打个广告 ，博客地址:https://me.csdn.net/weixin_47482194 写的博客很有水平的，上了几次官网推荐了。 1，正常的print（） 2，在遇到FlinkSQL代码里面有聚合算子的时候，会发现报错了。比如下面的代码： Exception in thread "main" org.apache.flink.table.api.TableException: AppendStreamTa...
从Flink SQL "doesn't support consuming update and delete changes" 错误谈起
LittleMagic's Blog
01-07 1万+
前言 相信我们在初学Flink SQL时，多少遇到过像这样的错误信息： org.apache.flink.table.api.TableException: X[算子名] doesn't support consuming update and delete changes which is produced by node Y[算子名] 为什么有些下游算子不能接受上游算子发来的UPDATE和D...
Flink sql:Table sink doesn‘t support consuming update and delete changes which is produced by node
小蚯蚓的博客
05-05 3912
一、问题描述 Flink sql将kafka作为join的输出，报错： Exception in thread "main" org.apache.flink.table.api.TableException: Table sink 'default_catalog.default_database.ods_t' doesn't support consuming update and delete changes which is produced by node Join(joinType=[LeftO
Table sink ‘default_catalog.default_database.t3‘ doesn‘t support consuming update and delete changes
m0_37759590的博客
11-10 1491
Table sink 'default_catalog.default_database.t3' doesn't support consuming update and delete changes
f基础入门7--flinkSQL表的概念以及输出到外部系统
weixin_45150724的博客
11-21 620
@TOC 引入的依赖 planner计划。计划器，这是tableAPI中最主要的部分，提供一个运行时的环境。基于运行时的环境解析流式处理程序，生成一个表的执行计划，2.12是Scala的版本。1.10是flink的版本。 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner_2.12</artifactId> &
flink1.14 sql基础语法（一） flink sql表查询详解
qq_44665283的博客
07-21 7222
flink sql表查询详解
toAppendStream doesn‘t support consuming update and delete changes which is produced by node XXX
bwddd的博客
12-17 6362
在Flink sql进行测试输出， 想把 sql查询的结果Table 转为DataStream 然后进行打印 当我们table.toAppendStream[Row]的时候 发现报错 其实这个因为我们sql 查的那个动态表 是Mysql 这类源， 他们是可以进行update,delete,insert操作的。 对于toAppendStream呢 是仅可以将追加流进行转换输出 比如kafka 所以我们使用 table.toRetractStream[Row].print() 即可 这操.
FlinkSql知识点总结
jason_bone_的博客
02-13 945
flinksql定义?Flink core架构上的sql语义处理结构化数据的上层库工作流程?sql得有表啊,数据源绑定schema后注册为catalog中的表->用户sql表达计算逻辑->tableplanner通过apache calcite解析sql并绑定元数据生成语法树,变成逻辑执行计划(树)并优化->逻辑计划+算子具体实现得到物理执行计划->代码生成得到算子树->转为作业图给到集群执行两个优化器?
【Flink】FLink SQL TableException: Table sink doesn‘t support consuming update changes which is
九师兄
10-13 2213
1.概述 在做实验：【Flink】Flink SQL 读取 CSV 文件 最后尝试将数据写入到csv文件的时候报错。 Flink SQL> INSERT INTO employee_information_sink > SELECT > dept_id, > COUNT(*) as emp_count > FROM employee_information > GROUP BY dept_id; [INFO] Submitting SQL update sta
flink sql实战
09-07
Flink SQL 实战是一个常见的应用场景，可以用于数据处理和分析。下面是一个简单的 Flink SQL 实战示例： 假设你有一个包含用户购买记录的订单表，包括用户ID、购买时间、商品ID和购买数量等字段。你想通过 Flink SQL 来计算每个用户的总购买金额。 首先，你需要将订单表注册为一个 Flink 的表。你可以使用类似下面的代码来实现： ```java StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); // 创建一个DataStream，读取订单数据 DataStream<Order> orderStream = env.addSource(new OrderSource()); // 注册DataStream为一个表 tableEnv.createTemporaryView("orders", orderStream, "userId, purchaseTime, productId, quantity"); ``` 接下来，你可以使用 Flink SQL 来查询每个用户的总购买金额。可以使用类似下面的代码： ```java // 执行SQL查询，计算每个用户的总购买金额 Table result = tableEnv.sqlQuery("SELECT userId, SUM(quantity) as totalPurchaseAmount " + "FROM orders " + "GROUP BY userId"); // 将结果转换为DataStream输出 DataStream<Result> resultStream = tableEnv.toAppendStream(result, Result.class); // 输出结果 resultStream.print(); ``` 在上面的代码中，我们使用了 Flink SQL 的聚合函数 SUM 和 GROUP BY 来计算每个用户的总购买金额。最后，将结果转换为 DataStream 并打印出来。 这只是一个简单的实例，实际的 Flink SQL 实战涉及到更复杂的查询和处理逻辑。你可以根据具体的业务需求，使用 Flink SQL 来实现更多的数据处理和分析任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值