spark hudi 无法同步到hive_查询Hudi数据集

欢迎关注微信公众号：ApacheHudi

从概念上讲，Hudi物理存储一次数据到DFS上，同时在其上提供三个逻辑视图，如之前所述。 数据集同步到Hive Metastore后，它将提供由Hudi的自定义输入格式支持的Hive外部表。一旦提供了适当的Hudi捆绑包， 就可以通过Hive、Spark和Presto之类的常用查询引擎来查询数据集。

具体来说，在写入过程中传递了两个由table name命名的Hive表。 例如，如果 table name=hudi_tbl，我们得到

• hudi_tbl 实现了由 HoodieParquetInputFormat 支持的数据集的读优化视图，从而提供了纯列式数据。
• hudi_tbl_rt 实现了由 HoodieParquetRealtimeInputFormat 支持的数据集的实时视图，从而提供了基础数据和日志数据的合并视图。

如概念部分所述，增量处理所需要的 一个关键原语是 增量拉取(以从数据集中获取更改流/日志)。您可以增量提取Hudi数据集，这意味着自指定的即时时间起， 您可以只获得全部更新和新行。 这与插入更新一起使用，对于构建某些数据管道尤其有用，包括将1个或多个源Hudi表(数据流/事实)以增量方式拉出(流/事实) 并与其他表(数据集/维度)结合以写出增量到目标Hudi数据集。增量视图是通过查询上表之一实现的，并具有特殊配置， 该特殊配置指示查询计划仅需要从数据集中获取增量数据。

接下来，我们将详细讨论在每个查询引擎上如何访问所有三个视图。

Hive

为了使Hive能够识别Hudi数据集并正确查询， HiveServer2需要在其辅助jars路径中提供