flink 读取hudi使用hive-sync生成的表报错 Unexpected type: INT64

hudi版本：0.13.1

一、具体报错内容：

Caused by: java.lang.IllegalArgumentException: Unexpected type: INT64
at org.apache.flink.hive.shaded.parquet.Preconditions.checkArgument(Preconditions.java:73)
at org.apache.flink.hive.shaded.formats.parquet.vector.ParquetSplitReaderUtil.createWritableColumnVector(ParquetSplitReaderUtil.java:369)
at org.apache.flink.hive.shaded.formats.parquet.ParquetVectorizedInputFormat.createWritableVectors(ParquetVectorizedInputFormat.java:264)
at org.apache.flink.hive.shaded.formats.parquet.ParquetVectorizedInputFormat.createReaderBatch(ParquetVectorizedInputFormat.java:254)
at org.apache.flink.hive.shaded.formats.parquet.ParquetVectorizedInputFormat.createPoolOfBatches(ParquetVectorizedInputFormat.java:244)
at org.apache.flink.hive.shaded.formats.parquet.ParquetVectorizedInputFormat.createReader(ParquetVectorizedInputFormat.java:137)
at org.apache.flink.hive.shaded.formats.parquet.ParquetVectorizedInputFormat.createReader(ParquetVectorizedInputFormat.java:73)
at org.apache.flink.connectors.hive.read.HiveBulkFormatAdapter.createReader(HiveBulkFormatAdapter.java:110)
at org.apache.flink.connectors.hive.read.HiveBulkFormatAdapter.createReader(HiveBulkFormatAdapter.java:65)
at org.apache.flink.connector.file.src.impl.FileSourceSplitReader.checkSplitOrStartNext(FileSourceSplitReader.java:112)
at org.apache.flink.connector.file.src.impl.FileSourceSplitReader.fetch(FileSourceSplitReader.java:65)
at org.apache.flink.connector.base.source.reader.fetcher.FetchTask.run(FetchTask.java:56)
at org.apache.flink.connector.base.source.reader.fetcher.SplitFetcher.runOnce(SplitFetcher.java:140)
... 6 more

二、报错原因

1、hive-sync生成表是为spark准备的，并并不会向flink sql一样在metastore中生成flink 可以读取的table param（对应hive metastore中的表TABLE_PARAMS）

体现出来是`flink. `开头的，且是可以带有精度的。

 

2、flink读取hive-sync固定生成的是timestamp类型，不带有精度（小数位数），而hive也不支持指定精度其精度固定为至纳秒。

hive-sync使用hive metastore的 java api同步表结构，而用FieldSchema类表示timestamp类型，也是不带有精度的：

3、flink stream API没有指定parquet生成格式的参数

生成的parquet 文件的timestamp类型为： INT64 L:TIMESTAMP(MICROS,true) 

另外，HoodieStorageConfig.PARQUET_OUTPUT_TIMESTAMP_TYPE.key()  // 取值范围：INT96 TIMESTAMP_MICROS TIMESTAMP_MILLIS 。此配置在flink并不生效。

综上，flink读取hive-sync表时候从metastore获取到的是timestamp  即默认hive的精度int96，而实际parquet存储的类型是int64，二者冲突。

解决办法：

在通过HoodiePipeline 中的 org.apache.hudi.util.HoodiePipeline#getCreateHoodieTableDDL方法手动创建张flink table；