Flink sql-cli 查询 Iceberg 的坑

最新推荐文章于 2024-09-18 01:37:23 发布
最新推荐文章于 2024-09-18 01:37:23 发布
阅读量2.1k 收藏
点赞数 2
分类专栏： BUG 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/skdtr/article/details/123928671
版权
本文介绍了在使用Flink sql-cli查询Iceberg表时遇到资源不足的问题，分析了由于默认并行度过高导致的问题原因，并提出了通过禁止源并行度推断或设置最大并行度来解决问题的方案。
摘要由CSDN通过智能技术生成

问题描述

sql-client 一个简单的 group by 查询 报资源不够的错 并行度默认设置为 2
在这里插入图片描述

问题分析

上web界面上一看 好家伙 source直接100并行度 这肯定资源不足啊
在这里插入图片描述
读取Iceberg 走的是org.apache.iceberg.flink.source包下的FlinkSouce
源码中 Builder中inferParallelism方法中会读两个配置
在这里插入图片描述
table.exec.iceberg.infer-source-parallelism 默认为 true
Description If is false, parallelism of source are set by config. If is true, source parallelism is inferred according to splits number.
如果按默认值true

最低0.47元/天 解锁文章
鱼多愚
关注
专栏目录
Flink CDC 菜鸟教程 -环境篇
RodJohnsonDoctor的专栏
09-07 1242
FlinkCDC 菜鸟教程-环境篇，环境准备是为后续实践篇章做准备，非常重要，搞清程序运行环境就成功了一半
Flink CDC和FlinkX与数据湖
JustinMars的博客
02-22 2284
数据传输工具FlinkX和Flink CDC是目前最主流的工具，其中,Flink CDC 2.0更加友好地支持数据湖
flink sqlClient提交hiveIceberg
sxau_zhangtao的博客
11-22 853
sqlclient启动有两种方式，per-job、session。
通过 Flink SQL 将 SQL Server 中的数据表插入到 Iceberg 中
smile6868的博客
03-29 398
通过 Flink SQL 将 SQL Server 中的数据表插入到 Iceberg 中涉及几个关键步骤。
Flink SQL Client初探
最新发布
2401_87167740的博客
09-18 481
SQL Client的目标就是解决上述问题（官方原话with a build tool before being submitted to a cluster.）
要通过 Flink SQL 将 MySQL 数据库中的数据表插入到 Iceberg 中
smile6868的博客
03-29 553
通过以上步骤，你可以使用 Flink SQL 将 MySQL 数据库中的数据表插入到 Iceberg 中。记得在生产环境中进行充分的测试和验证，以确保数据的准确性和系统的稳定性。在你的 Flink 项目中，添加 MySQL JDBC 驱动和 Iceberg Flink Connector 的依赖。使用 Flink SQL DDL 语句创建 Iceberg 表，这个表将用于存储从 MySQL 读取的数据。使用 Flink SQL DDL 语句创建一个临时表，映射到 MySQL 数据库中的数据表。
Iceberg从入门到精通系列之十：flink sql往Iceberg表插入数据，Batch模式和Streaming模式查询数据
zhengzaifeidelushang的博客
06-30 2213
Iceberg从入门到精通系列之十：flink sql往Iceberg表插入数据，Batch模式和Streaming模式查询数据
flinkSQL-iceberg测试案例
pingfanderen5的博客
05-30 1068
kafka-flinkSQL-iceberg测试案例 使用flink中datagen connector进行数据的模拟生成，同时将生成的数据写入到kafka中，模拟流式数据的生成；然后再使用flink对kafka中的数据进行消费，存入到数据湖iceberg中。
Apache Iceberg Research
yisuoyanyv的博客
06-01 1106
Apache iceberg 的感性认知，架构，业务，特性，优点
Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12为例
GabrielCP的博客
01-13 706
什么是Hive Catalog 我们知道，Hive使用Hive Metastore(HMS)存储元数据信息，使用关系型数据库来持久化存储这些信息。所以，Flink集成Hive需要打通Hive的metastore，去管理Flink的元数据，这就是Hive Catalog的功能。 Hive Catalog的主要作用是使用Hive MetaStore去管理Flink的元数据。Hive Catalog可以将元数据进行持久化，这样后续的操作就可以反复使用这些表的元数据，而不用每次使用时都要重新注册。如果不去持久化ca
第四章 FlinkSQL集成Iceberg实战案例之Mysql实时同步
qq_27924553的博客
02-07 685
FlinkSQL集成Iceberg实战案例之业务库数据实时同步
Flink 1.11集成Iceberg 0.12.1 报错a DynamicTableSource with SupportsFilterPushDown ability is not support
破晓的成长之路
02-06 1652
如题，从Iceberg 0.11.1 升级到0.12.1后，用Flink尝试读取Iceberg表时报错如下 Exception in thread "main" java.lang.UnsupportedOperationException: Currently, a DynamicTableSource with SupportsFilterPushDown ability is not supported. at org.apache.flink.table.planner.plan.schema.C
实践数据湖iceberg 第二十课 flink + iceberg CDC场景(版本问题，测试失败)
spark_dev的博客
02-18 3421
实践数据湖icerberg专栏 本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知
数据湖Iceberg-FlinkSQL集成(5)
jast
04-24 4267
相反，如果您使用的是独立模式，Flink SQL Client 会连接到一个已经运行的 Flink 集群。在嵌入式模式下，Flink SQL Client 会自动启动一个 Flink 集群，无需手动启动，直接在命令行中交互式地输入 SQL 命令进行查询和操作。hive-conf-dir:包含hive-site.xml配置文件的目录路径，hive-site.xml中hive.metastore.warehouse.dir 的值会被warehouse覆盖。在指定的表后面追加的动态参数会自动追加到原表定义中。
iceberg对接flinksql测试
80工龄程序员
03-05 1713
Apache Iceberg对接Flinksql测试 Apache Iceberg简介 我们可以简单理解为他是基于计算层（flink ， spark）和存储层（orc，parqurt）的一个中间层， 我们在hive建立一个iceberg格式的表。用flink或者spark写入iceberg，然后再通过其他方式来读 取这个表，比如spark，flink，presto等。 ○ 在文件Format（parquet/avro/orc等）之上实现Table语义。 ■ 支持定义和变更Schema ■ 支持Hidd
实践数据湖iceberg 第十九课 flink count iceberg，无结果问题
spark_dev的博客
02-15 1193
实践数据湖icerberg专栏 本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知
第二章 Flink集成Iceberg的集成方式及基本SQL使用
qq_27924553的博客
02-06 2062
Flink集成Iceberg的集成方式及基本SQL使用
数据湖Iceberg介绍和使用(集成Hive、SparkSQL、FlinkSQL)
迷雾总会解
07-01 5998
为了解决数据存储和计算引擎之间的适配的问题，Netflix开发了Iceberg，2018年11月16日进入Apache孵化器，2020 年5月19日从孵化器毕业，成为Apache的顶级项目。Iceberg是一个面向海量数据分析场景的开放表格式（Table Format）。表格式（Table Format）可以理解为元数据以及数据文件的一种组织方式，处于计算框架（Flink，Spark…）之下，数据文件之上。大数据领域发展至今已经经历了相当长时间的发展和探索，虽然大数据技术的出现和迭代降低了用户处理海量数据的
Flik SQL 自定义SQL SELECT并行度
xgs
02-14 1114
FlinkHintStrategies 增加 hint task（完整代码） /* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding copyright owner.
FlinkSql读取iceberg表
06-08
要在 FlinkSQL 中读取 iceberg 表，你需要使用 iceberg-catalog 和 iceberg-flink 库。 首先，你需要在 FlinkSQL 中注册 iceberg-catalog，如下所示： ``` CREATE CATALOG iceberg_catalog WITH ( 'type'='iceberg', 'catalog-type'='hadoop', 'catalog-impl'='org.apache.iceberg.hadoop.HadoopCatalog', 'warehouse'='hdfs://<your-hdfs-warehouse-path>' ); ``` 然后，你需要使用 iceberg-catalog 和 iceberg-flink 库来读取 iceberg 表。以下是一个示例查询： ``` SELECT * FROM TABLE ( iceberg_catalog.`<your-table-name>` (format 'iceberg') ); ``` 注意：在上面的查询中，你需要将 `<your-table-name>` 替换为你要查询的 iceberg 表的名称。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值