数据湖
文章平均质量分 57
香山上的麻雀1008
大数据
展开
-
flink SQL报错java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLj
问题flink SQL连接hive以及hudi 报错java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V,查询资料后发现就是guava版本冲突造成的。hive 3.1.2版本内置的guava是19.0版本的,而hadoop中的guava是27.0-jre版本的,flink内置的guava也有多个版本。彼此之间版本就冲突了原创 2021-10-12 21:21:01 · 3501 阅读 · 2 评论 -
Flink + Hudi demo 环境
版本flink 版本: Flink 1.12.5Scala版本:2.12Hudi版本:0.9.0将hudi-flink-bundle_2.12-0.9.0.jar放入flink的lib目录下。原创 2021-09-26 20:07:43 · 1450 阅读 · 0 评论 -
SparkSQL查询Apache Hudi表进入命令
bin/spark-sql --jars hudi-spark3-bundle_2.12-0.9.0.jar \--packages org.apache.spark:spark-avro_2.12:3.1.2 \--conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' \--conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExt原创 2021-09-23 15:12:21 · 598 阅读 · 0 评论 -
spark写hudi:NoSuchMethodError: org.apache.jetty.server.session.SessionHandler.setHttpOnly(Z)V
前提Hudi version : 0.9.0Spark version : 3.1.2Hive version : 2.1.1-cdh6.3.2Hadoop version : 3.0.0-cdh6.3.2报错日志:scala> df.write.format("hudi"). | options(getQuickstartWriteConfigs). | option(PRECOMBINE_FIELD_OPT_KEY, "ts"). | opti原创 2021-09-18 17:23:25 · 1396 阅读 · 0 评论 -
spark 写入 hudi 报错
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat; at org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Native Method) at org.apache.hadoo原创 2021-09-16 17:02:53 · 697 阅读 · 0 评论 -
Apache Hudi基础知识整理
文章目录特性TimelineFile LayoutIndexTable Types& QueriesCopy on Write TableMerge on Read Table本文整理自其他技术博文。特性(1)快速upsert,可插入索引(2)以原子方式操作数据并具有回滚功能(3)写入器之和查询之间的快照隔离(4)savepoint用户数据恢复的保存点(5)管理文件大小,使用统计数据布局(6)异步压缩行列数据(7)具有时间线来追踪元数据血统(8)通过聚类优化数据集Timelin原创 2021-09-14 15:54:08 · 860 阅读 · 0 评论