Hive整合hbase及导入数据测试

1.hbase与hive的对比

1.1hbase与hive的对比

Hive

数据仓库

Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。

用于数据分析、清洗。

Hive适用于离线的数据分析和清洗，延迟较高。

基于HDFS、MapReduce。

Hive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。

HBase

数据库

是一种面向列存储的非关系型数据库。

用于存储结构化和非结构话的数据。

适用于单表非关系型数据的存储，不适合做关联查询，类似JOIN等操作。

基于HDFS。

数据持久化存储的体现形式是Hfile，存放于DataNode中，被ResionServer以region的形式进行管理。

延迟较低，接入在线业务使用。

面对大量的企业数据，HBase可以直线单表大量数据的存储，同时提供了高效的数据访问速度。

总结：Hive与HBase

Hive和Hbase是两种基于Hadoop的不同技术，Hive是一种类SQL的引擎，并且运行MapReduce任务，Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，Hive可以用来进行统计查询，HBase可以用来进行实时查询，数据也可以从Hive写到HBase，或者从HBase写回Hive。

1.2hive与HBase的整合

hive与我们的HBase各有千秋，各自有着不同的功能，但是归根接地，hive与hbase的数据最终都是存储在hdfs上面的，一般的我们为了存储磁盘的空间，不会将一份数据存储到多个地方，导致磁盘空间的浪费，我们可以直接将数据存入hbase，然后通过hive整合hbase直接使用sql语句分析hbase里面的数据即可，非常方便

2.实验环境准备：

Hive-2.3.3

Hbase-1.3.1