Hive Storage Handler入门和实战

为什么要有Storage Handler

引入Storage Handler，Hive用户使用SQL可读写外部数据源。ElasticSearch, Kafka，HBase等数据源的查询对非专业开发是有一定门槛的，借助Storage Handler，他们有了一种方便快捷的手段查询数据。另外，Hive作为数仓的核心组件，借助Storage Handler，数据导入导出可以统一以SQL实现，减少了大数据开发维护的技术栈。

Storage Handler的使用

1. 用Java实现HiveStorageHandler接口，并将Jar包加入Hive classpath。

2. 创建外部表(External Table)，且STORED BY 声明为第一步开发的类。

3. 使用HiveSQL操作外部表

 

Storage Handler的原理

先介绍一点预备知识：
1. InputFormat: getSplits()和getRecordReader(). MR框架根据getSplits()生成若干个Mapper, splits : mapper = 1: 1。一个HDFS文件，可能会有多个splits。getRecordReader()返回的RecordReader负责split的二进制数据转化为实现Writable接口的类实例。

2. OutputFormat：与InputFormat处理数据的方向相反。

3. SerDe: Hive的序列化/反序列化器，完成Hive “Row”(Java Object)和Readabale/Writab