Hive整合hbase及导入数据测试

 1，Hive与Hbase的区别

 1.1Hive(数据仓库)

  Hive是由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，底层依赖于HDFS存储数据，利用MapReduce进行计算，可以将结构化的数据映射为一张数据库表，并提供HQL。Hive的本质是将 SQL 语句转换为 MapReduce 任务运行。Hive提供了三种协议访问 Hive数据：Thrift RPC、JDBC、ODBC。

注意：以上是Hive之前的定义。如今随着大数据的发展Hive逐步舍弃了MR。Hive2.X版本已经建议不再使用MR，而在新出来的Hive3.X版本中，直接舍弃了使用MR作为底层运行机制，改为使用Tez。后来由于Spark的出现，许多公司开始使用Spark代替MapReduce作为Hive的执行引擎，使Hive运行在Spark上。也就是Hive on Spark。

1.2Hbase(数据库)

  HBase 是 BigTable 的开源（源码使用 Java 编写）版本。是 Apache Hadoop 的数据库，是建立在 HDFS 之上，被设计用来提供高可靠性、高性能、列存储、可伸缩、多版本的非关系型的分布式数据存储系统，实现对大型数据的实时、随机的读写访问。

HBase 依赖于 HDFS 做底层的数据存储，BigTable 依赖 Google GFS 做数据存储。

HBase 依赖于 MapReduce 做数据计算，BigTable 依赖 Google MapReduce 做数据计算。

HBase 依赖于 ZooKeeper 做服务协调，BigTable 依赖 Google Chubby 做服务协调。

1.3hive与hbase区别

  Hbase，其实是Hadoop database的简称，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等。HBase作为支持查询的数据管理器，仅HBase不能用于分析查询，因为它没有专用的查询语言。为了运行CRUD（创建，读取，更新和删除）和搜索查询，它具有基于JRuby的shell，该shell提供了简单的数据操作可能性，例如Get，Put和Scan。

  Hive，Hadoop数据仓库，通过SQL来处理和计算HDFS的数据，Hive会将SQL翻译为Mapreduce来处理数据，适用于离线的批量数据计算。Hive作为分析查询引擎，是专门为启用数据分析而设计的，专用的Hive查询语言（HiveQL）与SQL类似。最初，Hive将HiveQL查询转换为Hadoop MapRe