Flink SQL的打印输出的几种方式

最新推荐文章于 2024-08-19 10:39:56 发布
最新推荐文章于 2024-08-19 10:39:56 发布
阅读量1.3w 收藏 7
点赞数 7
分类专栏： Flink 文章标签： Flink sql打印
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31866793/article/details/107543146
版权
本文介绍了Flink SQL在执行过程中遇到的打印输出问题及解决方法。包括常规的print()方法，遇到聚合操作时的错误及其原因，推荐的官方解决方案，以及在Zeppelin中执行SQL并设置输出类型的技巧。
摘要由CSDN通过智能技术生成

打广告！！！！！！！！！！！！！！！！！！！！！！！！！：

先跟鸡哥打个广告 ，博客地址: https://me.csdn.net/weixin_47482194

写的博客很有水平的，上了几次官网推荐了。

 

1，正常的print（）

2，在遇到FlinkSQL 代码里面有聚合算子的时候，会发现报错了。比如下面的代码：

Exception in thread "main" org.apache.flink.table.api.TableException: AppendStreamTableSink doesn't support consuming update and delete changes which is produced by node Rank(strategy=[Undefine

最低0.47元/天 解锁文章
黄瓜炖啤酒鸭
关注
专栏目录
Flink SQL Print Connector
SmartSi
04-10 2054
Flink 版本：1.13 1. 简介 Print Connector 可以将每一行数据输出到标准输出流以及标准错误流中。它是专门为如下场景设计的： 在流式作业中进行简单测试。 在生产环境进行调试。 Print Connector 只能作为 Sink 输出表，不能作为 Source 输入表。Print Connector 会有如下四种可能的输出格式： Print 条件1 条件2 PRINT_IDENTIFIER:taskId> output 设置 print-identifie.
Flink SQL 基础教程和项目实践
程序员光剑
05-24 106
Apache Flink 是一个用于处理流和批数据的分布式流处理框架。Flink SQL 是 Flink 提供的一种高级 API，它允许用户使用 SQL 查询来处理数据流。Flink SQL 结合了 Flink 的流处理能力和 SQL 的简洁性，使得数据处理更加直观和高效。随着大数据技术的发展，实时数据处理需求日益增加。Flink SQL 作为一种强大的工具，能够帮助开发者快速实现复杂的数据处理逻辑。本教程将深入探讨 Flink SQL 的基础知识，并通过项目实践展示其实际应用。
Flink SQL Print
wangleigiser的博客
02-15 2530
应安全部门要求，系统对taskmanager.log日志展示数据条数进行了限制。如果您有排查脏数据或特定数据等需求，建议在Where条件中指定业务场景相关条件后，进行print操作，以避免因为2000条的数据条数限制导致无法排查。因为print sink数据输出为info日志，所以如果您需要查看print结果表的结果数据，则需要将日志级别调至info。否则，会查不到结果数据。
探索FlinkSQL：流数据处理的革命性工具
最新发布
gitblog_01061的博客
08-19 267
探索FlinkSQL：流数据处理的革命性工具 FlinkSQL仿照阿里blink使用sql开发flink的实时程序项目地址:https://gitcode.com/gh_mirrors/fl/FlinkSQL 在数据处理的世界中，流数据处理一直是一个挑战与机遇并存的领域。随着技术的不断进步，FlinkSQL作为一个开源项目，正以其独特的优势和强大的功能，引领着流数据处理的新潮流。本文将深入介绍F...
Flink系列之：Print SQL连接器
zhengzaifeidelushang的博客
12-19 1069
输出字符串格式为 “$row_kind(f0,f1,f2…)“，row_kind是一个 RowKind 类型的短字符串，例如：”+I(1,1)"。注意 在任务运行时使用 Print Sinks 打印记录，你需要注意观察任务日志。Print 连接器允许将每一行写入标准输出流或者标准错误流。或者，也可以通过 LIKE子句 基于已有表的结构去创建新表。Print 连接器是内置的。
【Flink1.14实战】Docker环境 Print SQL 连接器
一片冰心
04-16 616
Print SQL 连接器 Print 连接器允许将每一行写入标准输出流或者标准错误流。 设计目的： 简单的流作业测试。 对生产调试带来极大便利。 如何创建一张基于 Print 的表 CREATE TABLE print_table ( f0 INT, f1 INT, f2 STRING, f3 DOUBLE ) WITH ( 'connector' = 'print' ) 或者，也可以通过 LIKE子句基于已有表的结构去创建新表。 CREATE TABLE print_table WITH
FlinkSQL系列06-表输出方式
边看边学
08-31 805
【代码】FlinkSQL系列06-表输出方式。
f基础入门7--flinkSQL表的概念以及输出到外部系统
weixin_45150724的博客
11-21 744
@TOC 引入的依赖 planner计划。计划器，这是tableAPI中最主要的部分，提供一个运行时的环境。基于运行时的环境解析流式处理程序，生成一个表的执行计划，2.12是Scala的版本。1.10是flink的版本。 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner_2.12</artifactId> &
32.flink sql 语法大全
笔生花的博客
10-09 4235
flink table api 之 time Attributes, which supports standard ANSI SQL(ANSI SQL是sql语言标准).Calcite 是什么？如果用一句话形容 Calcite，Calcite 是一个用于优化异构数据源的查询处理的基础框架。最近十几年来，出现了很多专门的数据处理引擎。例如列式存储 (HBase)、流处理引擎 (Flink)、文档搜索引擎 (Elasticsearch) 等等。
flink sql 知其所以然（六）| flink sql 约会 calcite（看这篇就够了）
qq_34608620的博客
09-04 1381
感谢您的小爱心（关注  +  点赞 + 再看），对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！1.序篇-本文结构 大数据羊说 用数据提升美好事物发生的概率~
flink-SQL变更日志打印
面朝大海，春暖花开
06-30 522
很多时候会进行 SQL 变量调试。基于flink-1.15.4。
【Flink源码系列】Flink Print SQL Connector 添加随机取样功能
JasonLee实时计算
05-17 1122
Flink 提供了 Print SQL Connector 可以让我们非常方便的把数据打印到标准输出.有助于我们测试 SQL 任务,检验数据的正确性.但是在生产环境中,上游的数据量是非常大的,如果直接把数据输出的话,可能会把标准输出文件打满,造成页面卡死的情况,反而不利于我们观测数据,所以我们可以对 Print SQL Connector 进行简单的改造,加一个随机取样的...
Flink Print SQL Connector 添加随机取样功能
JasonLee实时计算
05-20 248
Flink 提供了 Print SQL Connector 可以让我们非常方便的把数据打印到标准输出.有助于我们测试 SQL 任务,检验数据的正确性.但是在生产环境中,上游的数据量是非常大的,如果直接把数据输出的话,可能会把标准输出文件打满,造成页面卡死的情况,反而不利于我们观测数据,所以我们可以对 Print SQL Connector 进行简单的改造,加一个随机取样的参数控制数据输出.直接把 ...
Flink SQL含有聚合算子时无法直接print报错
无限进步
12-30 501
Flink SQL含有聚合算子时无法直接print Exception in thread "main" org.apache.flink.table.api.TableException: AppendStreamTableSink doesn't support consuming update and delete changes which is produced by node Rank(strategy=[UndefinedStrategy], rankType=[ROW_NUMBER], ra
Flink实践：Flink窗口函数在SQL中的使用
Yuan_CSDF的博客
06-17 2369
1.使用FlinkSQL定时输出计算结果： 计算每天的pv,uv，可以开一个24h的窗口，统计窗口内数据情况。但是这样有一个问题，flink sql没有办法直接设置trigger，所以只能等待窗口结束后才会有计算结果输出。这往往不是我们想要的，针对这种情况，有两种解决办法，一种是设置参数，提前输出计算结果；另一种办法是开一分钟窗口（根据自己输出频率来设定窗口）做初步聚合，然后根据日期做二次聚合； 两种方式有一个区别，提前输出方式，因为窗口没有关闭，输出的数据是update，而二次聚合方式，因为窗口已经关
Flink SQL-连接器
weixin_48370579的博客
07-29 986
Flink SQL flink 官网 https://nightlies.apache.org/flink/flink-docsmaster/zh/docs/connectors/table/datagen/ flink sql版本的WordCount package com.wt.flink.sql import org.apache.flink.table.api.{EnvironmentS...
flink1.13使用print connector调试数据
yy的博客
07-16 1414
代码 代码目的就是把kafa数据打印到flink web ui 上展示. 方便调试. drop table if exists source_kafka; CREATE TABLE source_kafka ( -- schema 与 MySQL 的 products 表完全相同 `id` int, name STRING, age int, PRIMARY KEY (`id`) NOT ENFORCED ) WITH ( 'connector' = 'kafka', ...
4.3.3 Flink-流处理框架-Flink CDC数据实时数据同步-Flink CDC实操-DataStream方式
敲代码的乔帮主
03-16 3617
目录 1.写在前面 2.相关依赖 3.代码实现 4.运行效果 1.写在前面 Flink CDC有两种实现方式，一种是DataStream方式，一种是FlinkSQL方式。 2.相关依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-ja...
FlinkSql深入：Table操作与连接详解
Flink SQL中的Table概念是核心组成部分，它允许用户以更直观的方式操作数据源，无论是来自外部文件系统还是数据库。 首先，TableEnvironment在Flink中扮演了关键角色，它能够注册Catalog（目录），这是一种逻辑上的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值