Hudi常用参数-同步Hive表相关参数配置

同步Hive表相关配置

• hoodie.datasource.hive_sync.enable
  是否同步hudi表信息到hive metastore。 建议统一使用hive管理hudi表。

• hoodie.datasource.hive_sync.database
  要同步给hive的数据库名。

• hoodie.datasource.hive_sync.table
  同步hive的表名，建议这个值和hoodie.datasource.write.table.name保证一致。

• hoodie.datasource.hive_sync.partition_fields
  用于决定hive分区列。

• hoodie.datasource.hive_sync.partition_extractor_class
  用于提取hudi分区列值，将其转换成hive分区列。默认为：org.apache.hudi.hive.SlashEncodedDayPartitionValueExtractor

• hoodie.datasource.hive_sync.support_timestamp
  当hudi表存在timestamp类型字段时，需指定此参数为true，以实现同步timestamp类型到hive元数据中。该值为false，默认将timestamp类型同步为bigInt，默认情况可能导致使用sql查询包含timestamp类型字段的hudi表出现错误。

• hoodie.datasource.hive_sync.fast_sync
  Hudi同步Hive分区方式：
  •true：从最近一次hive同步后所修改的分区直接向Hive表中做add partition if not exist操作。
  •false：会根据修改的分区去hive表查询是否已存在，不存在的进行添加。

• hoodie.datasource.hive_sync.mode
  hudi表同步hive表的方式，默认为hms：
  •hms：通过hive meta client同步元数据。
  •jdbc：通过hive jdbc方式同步元数据。
  •hiveql：执行hive ql方式同步元数据。