Storage Handler
引入Storage Handler,Hive用户使用SQL的方式读写外部数据源, 例如ElasticSearch、 Kafka、HBase等数据源的查询对非专业开发是有一定门槛的,借助Storage Handler,他们有了一种方便快捷的手段查询数据,Storage Handler作为Hive的存储插件,我们需要的时候直接添加即可。
另外,Hive作为数仓的核心组件,借助Storage Handler,数据导入导出可以统一以SQL实现,减少了大数据开发维护的技术栈。Storage Handler我们可以直接译为存储处理器
Storage Handler的使用
-
用Java实现HiveStorageHandler接口,并将Jar包加入Hive classpath。
-
创建外部表(External Table),且STORED BY 声明为第一步开发的类。
-
使用HiveSQL操作外部表
这里有一个概念性的问题,在hive 引入Storage Handler 之前就已经有内部表(managed)和外部表(external) 的概念了,关于内部表和外部表你可以参考 Hive内部表和外部表 。
A ma
本文介绍了Hive的Storage Handler,一种用于读写外部数据源如ElasticSearch、Kafka、HBase的工具,简化了大数据开发的流程。Storage Handler包括存储格式、元数据处理、查询转换等功能,主要涉及InputFormat、OutputFormat和SerDe。通过实现HiveStorageHandler接口和扩展HiveMetaHook,可以自定义与特定存储系统的交互。常见应用包括HDFS、HBase、ORC和Parquet存储处理程序。
订阅专栏 解锁全文
4万+

被折叠的 条评论
为什么被折叠?



