Hbase基本命令以及和Hive的对比

Hbase基本命令

基本命令

命令	说明
hbase shell	进入客户端
list	列出Hbase中存在的所有表
alter	修改列簇(column family)模式
count	统计表中行的数量
create	创建表
describe	显示表相关的详细信息
delete	删除指定对象的值(可以为表,行、列对应的值,另外也可以指定时间戳的值)
deleteall	删除指定行的所有元素值
disable	使表无效
drop	删除表
enable	使表有效
exists	测试表是否存在
exit	退出Hbaseshell
get	获取行或单元(cell)的值
incr	增加指定表，行或列的值
put	向指向的表单元添加值
tools	列出Hbase所支持的工具
scan	通过对表的扫描来获取对用的值
status	返回Hbase集群的状态信息
shutdown	关闭Hbase集群(与exit不同)

实际代码展示

[root@hadoop222 ~]# hbase shell                           --进入客户端   
2021-04-08 13:43:19,117 INFO  [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/software/hbase/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/software/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.2.0-cdh5.14.2, rUnknown, Tue Mar 27 13:31:54 PDT 2018

hbase(main):001:0> list                                 --展示所有表格
TABLE
0 row(s) in 0.1180 seconds

=> []
hbase(main):002:0> create 'student',{NAME => 'address'},{NAME => 'name'}        --创建表格
0 row(s) in 2.2790 seconds

=> Hbase::Table - student
hbase(main):003:0> list
TABLE
student
1 row(s) in 0.0060 seconds

=> ["student"]
hbase(main):004:0> put 'student','row1','address:city','nanjing'                 --插入数据
0 row(s) in 0.0800 seconds

hbase(main):005:0> put 'student','row1','address:street','xiaohangroad'             --插入数据
0 row(s) in 0.0040 seconds

hbase(main):006:0> put 'student','row1','address:country','china'                  --插入数据
0 row(s) in 0.0040 seconds

hbase(main):007:0> put 'student','row1','name:first_name','steven'                 --插入数据
0 row(s) in 0.0040 seconds

hbase(main):008:0> put 'student','row1','name:last_name','raul'                     --插入数据 
0 row(s) in 0.0030 seconds

hbase(main):010:0> get 'student','row1'                                            --查询表格内的数据
COLUMN                CELL
 address:city         timestamp=1617860977904, value=nanjing
 address:country      timestamp=1617861021034, value=china
 address:street       timestamp=1617861000277, value=xiaohangroad
 name:first_name      timestamp=1617861066965, value=steven
 name:last_name       timestamp=1617861080079, value=raul
5 row(s) in 0.0060 seconds

hbase(main):011:0> put 'student','row1','name:last_name','raullll'                      --再次插入数据
0 row(s) in 0.0040 seconds

hbase(main):012:0> get 'student','row1'                     --再次展示数据可以发现，只显示最新时间戳的值
COLUMN                CELL 
 address:city         timestamp=1617860977904, value=nanjing
 address:country      timestamp=1617861021034, value=china
 address:street       timestamp=1617861000277, value=xiaohangroad
 name:first_name      timestamp=1617861066965, value=steven
 name:last_name       timestamp=1617861215389, value=raullll
5 row(s) in 0.0080 seconds

hbase(main):013:0>

Hive 与 HBase的对比总结

两者分别是什么？

Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。
Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务。Hive被分区为表格，表格又被进一步分割为列簇。列簇必须使用schema定义，列簇将某一类型列集合起来（列不要求schema定义）。例如，“message”列簇可能包含：“to”, ”from” “date”, “subject”, 和”body”. 每一个 key/value对在Hbase中被定义为一个cell，每一个key由row-key，列簇、列和时间戳。在Hbase中，行是key/value映射的集合，这个映射通过row-key来唯一标识。Hbase利用Hadoop的基础设施，可以利用通用的设备进行水平的扩展。

两者的特点

Hive帮助熟悉SQL的人运行MapReduce任务。因为它是JDBC兼容的，同时，它也能够和现存的SQL工具整合在一起。运行Hive查询会花费很长时间，因为它会默认遍历表中所有的数据。虽然有这样的缺点，一次遍历的数据量可以通过Hive的分区机制来控制。分区允许在数据集上运行过滤查询，这些数据集存储在不同的文件夹内，查询的时候只遍历指定文件夹（分区）中的数据。这种机制可以用来，例如，只处理在某一个时间范围内的文件，只要这些文件名中包括了时间格式。
HBase通过存储key/value来工作。它支持四种主要的操作：增加或者更新行，查看一个范围内的cell，获取指定的行，删除指定的行、列或者是列的版本。版本信息用来获取历史数据（每一行的历史数据可以被删除，然后通过Hbase compactions就可以释放出空间）。虽然HBase包括表格，但是schema仅仅被表格和列簇所要求，列不需要schema。Hbase的表格包括增加/计数功能。

限制

Hive目前不支持更新操作。另外，由于hive在hadoop上运行批量操作，它需要花费很长的时间，通常是几分钟到几个小时才可以获取到查询的结果。Hive必须提供预先定义好的schema将文件和目录映射到列，并且Hive与ACID不兼容。
HBase查询是通过特定的语言来编写的，这种语言需要重新学习。类SQL的功能可以通过Apache Phonenix实现，但这是以必须提供schema为代价的。另外，Hbase也并不是兼容所有的ACID特性，虽然它支持某些特性。最后但不是最重要的–为了运行Hbase，Zookeeper是必须的，zookeeper是一个用来进行分布式协调的服务，这些服务包括配置服务，维护元信息和命名空间服务。

应用场景

Hive适合用来对一段时间内的数据进行分析查询，例如，用来计算趋势或者网站的日志。Hive不应该用来进行实时的查询。因为它需要很长时间才可以返回结果。
Hbase非常适合用来进行大数据的实时查询。Facebook用Hbase进行消息和实时的分析。它也可以用来统计Facebook的连接数。

总结

Hive和Hbase是两种基于Hadoop的不同技术–Hive是一种类SQL的引擎，并且运行MapReduce任务，Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。当然，这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，Hive可以用来进行统计查询，HBase可以用来进行实时查询，数据也可以从Hive写到Hbase，设置再从Hbase写回Hive。