flink smallint类型不兼容hudi

最新推荐文章于 2024-09-21 10:11:16 发布
最新推荐文章于 2024-09-21 10:11:16 发布
阅读量3k 收藏
点赞数
分类专栏： flink hudi系列 文章标签： flink hudi
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/czmacd/article/details/127364866
版权
本文档详细记录了在使用Flink 1.14.5和Hudi 0.11.1时遇到的一个问题，即Flink通过CDC同步MySQL表到Hudi后，查询Hudi表时由于smallint类型导致的异常。通过问题重现和分析，发现Flink在读取Hudi表时尝试将HeapIntVector转换为HeapShortVector，但源数据在Parquet文件中已经是HeapIntVector。解决方案是将Flink SQL中的smallint更改为int类型。此问题同样可能影响tinyint类型。
摘要由CSDN通过智能技术生成

1. 问题现象

  • flink 1.14.5
  • hudi 0.11.1

通过flink cdc同步了一个mysql表到hudi，并且数据compact到了parquet文件，此时通过flink sql去查询该hudi表时报以下异常

10:27:24 WARN  split_reader -> NotNullEnforcer(fields=[id]) (1/4)#0 org.apache.flink.runtime.taskmanager.Task                     - split_reader -> NotNullEnforcer(fields=[id]) (1/4)#0 (e382ae300d3d2034085bc7aba45948e4) switched from RUNNING to FAILED with failure cause: java.lang.ClassCastException: org.apache.flink.table.data.vector.heap.HeapIntVector cannot be cast to org.apache.flink.table.data.vector.ShortColumnVector
	at org.apache.flink.table.data.vector.VectorizedColumnBatch.getShort(VectorizedColumnBatch.java:78)
	at org.apache.flink.table.data.ColumnarRowData.getShort(C
了解本专栏 订阅专栏 解锁全文 超级会员免费看
矛始
关注
专栏目录
订阅专栏
hudi系列-不支持flink计算列
1032851561的博客
02-18 1941
有个hudi mor的事实表，需要与外部的维表进行关联以生成明细宽表，方案是基于flink sql对事实表进行增量查询，同时与外部的维表进行lookup join，除了无需编码之外，通过jdbc的方式连接外部表还能利用flink jdbc-connector的缓存功能。这种join方式要求事实表必须有一个处理时间(process time)属性，所以在定义事实表时增加了一个计算列从flink sql的角度来看，这并没什么毛病，但是直接查这个表的数据时就会报错。
CDC 数据入湖方案：Flink CDC ＞ Kafka ＞ Hudi
Laurence的技术博客
02-20 919
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Json 格式）接入到 Kafka ，然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。文本是本博客的 CDC 数据入湖系列方案中最为基础的一套堆栈，架构上也比较简单，适合作为 POC 快速搭建 CDC 实时处理链路。如果寻求更加适用于生产环境的解决方案，请参考
使用flink通过窗口实现数据源（mq）数据过滤，解决cannot be cast to org.apache.flink.table.dataformat.BinaryGeneric
qq_30752927的博客
05-11 1603
使用flink通过窗口实现数据源（mq）数据过滤。 需求：一个老师有基本属性包括（编号，名字，年龄，学生集合，以及图片信息）需要通过flink窗口实现多字段过滤以及取最大年龄的数据 定义student类 public class Student { private String name; public String getName() { return name; } public void setName(String name) {
Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
最新发布
qq_65618412的博客
09-21 292
发现Spark2 纯净版自带的orc-core-1.5.5-nohive.jar 会造成错误异常，需要冲突jar包orc-core-1.5.5-nohive.jar修改为orc-core-1.5.5-nohive.jar.bak后，再将spark中jar目录下的jar包上传到hdfs的/spark-jars目录上，最后再将hive中的orc-core-1.5.8.jar上传到hdfs的/spark-jars目录，重启集群就可以了。
Flink 1.13 写 HDFS 任务异常分析
jdx2008678的专栏
10-25 1416
任务是基于Flink 1.13 版本java api 实现的，主要功能是将业务数据写到 hdfs 上
Flink读取Hudi表报ArrayIndexOutOfBoundsException
一个不安分的程序员
01-18 2761
问题描述： 使用Flink读取Hudi表一周前还是可以正常读的，现在运行报： java.lang.ArrayIndexOutOfBoundsException at org.apache.hudi.table.format.cow.ParquetSplitReaderUtil.lambda$genPartColumnarRowReader$0(ParquetSplitReaderUtil.java:97) at java.util.stream.IntPipeline$4$1.accept(IntP
sqlserver in 语句报nvarchar值转smallint失败
aikinlaile的博客
07-18 643
selectksid,ksmcfromggzd_tkswhereCHARINDEX(','+LTRIM(ksid)+',',','+(selectcszfromxt_tcsszwherecsmc='门诊科室')+',')>0。错误原语句selectksid,ksmcfromggzd_tkswhereksidin(selectcszfromt_tcsszwherecsmc='门诊科室')将ksid和csz用CHARINDEX进行处理。...
Flink 读取 Kafka 消息写入 Hudi 表无报错但没有写入任何记录的解决方法
Laurence的技术博客
01-31 1055
本问题发生的场景是：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Confluent Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，然后写入到 Hudi 表中。在测试过程中发现：启动写入作业后，Hudi 表中迟迟没有数据写入，而 Flink 作业也没有报错。实际上，这应该是一比较常见的问题，我们的测试环境并没有特别的配置，大多数初次进行集成的开发者，大概率都会遇到这一问题，
Flink Hudi DataStream API代码示例
主要分享大数据相关的知识，如Spark、Hudi
05-22 1469
总结Flink通过DataStream API读写Hudi Demo示例，主要是自己备忘用。最开始学习Flink时都是使用Flink SQL,所以对于Flink SQL读写Hudi比较熟悉。但是对于写代码实现并不熟悉，而有些需求是基于Flink代码实现的，所以需要学习总结一下。仅为了实现用代码读写Hudi的需求，其实有两种方式，一种是在代码里通过Flink SQL API，也就是代码中执行Flink SQL，这种方式其实和通过SQL实现差不多，另一种方式是通过DataStream API实现。
flinksql-mysql数据类型
liuzhiquan_1025的专栏
11-10 1941
flinksql与mysql数据类型
操作数类型冲突: date 与 int 不兼容
u014622411的专栏
07-06 1万+
Hql +=" AND compAndClientPolicy.executeBegin between "+ kaiShiRiQi+"' and '"+ jieShuRiQi+"' " +                  " OR compAndClientPolicy.executeEnd between '"+kaiShiRiQi2 +"' and '"+ jieShuRiQi2+"'"
flink-sql所有数据类型-1.13
第一片心意的博客
08-02 6360
本文基于 flink 1.13 官网中的 flink sql 数据类型部分翻译整理，内容十分全面。
操作数类型冲突: int 与 date 不兼容
热门推荐
passer_zzy的博客
09-11 2万+
练习图书馆管理系统，出现的问题。问题如下： insert into book(id,name,type,author,translator,publisher,publish_time,stock,price) values(1,12,1,1,1,1,1995-05-31,1,1); 出错报告： 消息 206，级别 16，状态 2，第 1 行 操作数类型冲突: int 与 date 不
Flink+hudi遇到的坑（error原因及处理，随时补充）
qq_40788398的博客
04-15 6206
1. java.lang.LinkageError: org/apache/hudi/org/apache/parquet/column/ColumnDescriptor 原因：主键问题 处理方式：检查建表语句主键，参考官网主键设置。
实践数据湖iceberg 第二十课 flink + iceberg CDC场景(版本问题，测试失败)
spark_dev的博客
02-18 3436
实践数据湖icerberg专栏 本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知
SQLServer类型text运算符不兼容
ckth47350的博客
07-06 3171
SQLServer类型text运算符不兼容 DB：SQLServer 2012 问题： Text类型的列，不支持“=”运算符。 报错如下： ...
flink cdc 实时同步 oracle hudi
09-15
要实现Flink CDC实时同步Oracle到Hudi，你可以按照以下步骤进行操作： 1. 首先，配置Flink的Savepoints和Checkpoints，这样就可以实现断点续传的功能。这在生产环境中是建议的配置。 2. 使用Flink SQL创建Hudi表并进行元数据自动同步到Hive。你可以按照以下示例创建表： ```sql CREATE TABLE source_table ( uuid varchar(20), name varchar(10), age int, ts timestamp(3), `partition` varchar(20) ) WITH ( 'connector' = 'datagen', 'rows-per-second' = '1' ); CREATE TABLE hudi_table ( uuid varchar(20), name varchar(10), age int, ts timestamp(3), `partition` varchar(20) ) WITH ( 'connector' = 'hudi', 'path' = '$HUDI_DEMO/t2', -- 将$HUDI_DEMO替换为实际的绝对路径 'table.type' = 'MERGE_ON_READ', 'write.bucket_assign.tasks' = '2', 'write.tasks' = '2', 'hive_sync.enable' = 'true', 'hive_sync.mode' = 'hms', 'hive_sync.metastore.uris' = 'thrift://ip:9083' -- 将ip替换为HMS的地址 ); INSERT INTO hudi_table SELECT * FROM source_table; ``` 以上示例创建了`source_table`作为源表和`hudi_table`作为Hudi表，然后将源表的数据实时同步到Hudi表中。请将`$HUDI_DEMO`替换为实际的绝对路径，将`ip`替换为HMS的地址。 3. 确保你已经下载了所需的依赖jar。你需要下载MySQL驱动器以及Flink SQL的连接器和Flink CDC的依赖。你可以根据以下链接自行下载所需的jar包： - Flink SQL连接器：https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/connectors/table/jdbc/ - Flink CDC依赖：https://ververica.github.io/flink-cdc-connectors/release-2.3/content/connectors/mysql-cdc(ZH).html#a-name-id-002-a 通过以上步骤，你可以实现Flink CDC实时同步Oracle到Hudi的功能。这将使数据同步变得简单且可靠。记得替换示例中的路径和地址为实际的值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值