地球人是我哈的博客

编译hudi下载hudigit clone https://github.com/apache/incubator-hudi.git && cd incubator-hudi编译mvn clean install -DskipTests -DskipITs注意: 这一步有可能会报错，我在编译的时候，因为hudi源码中hudi-utilities下的pom文件中有四...

记录 hudi hive sync 代码端经历前言之前写过篇博客hudi-hive-sync，提到了hive 同步有两种方式，有兴趣可以去看看。博客内的第一种方法稍微有一点问题。因为hudi 支持的hive版本为2.1.1，而之前我们测试环境的hive版本为1.2.1，所以关于方式一的报错，我们单方面的认为是hive版本不兼容的原因，加上当时环境不能说变就变，一直没有去研究这个问题；前不久，我们测试环境升级后，hive的版本升级到2.1.1，发现执行之前的代码还是这样报错，于是稍微研究了hudi h

hudi-hive-syncSyncing to Hive 有两种方式:在hudi 写时同步使用run_sync_tool.sh 脚本进行同步1. 代码同步val spark = SparkSession .builder() .config(sparkConf) .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") .getOrCreate()