Hbase基本命令
基本命令
命令 | 说明 |
---|---|
hbase shell | 进入客户端 |
list | 列出Hbase中存在的所有表 |
alter | 修改列簇(column family)模式 |
count | 统计表中行的数量 |
create | 创建表 |
describe | 显示表相关的详细信息 |
delete | 删除指定对象的值(可以为表,行、列对应的值,另外也可以指定时间戳的值) |
deleteall | 删除指定行的所有元素值 |
disable | 使表无效 |
drop | 删除表 |
enable | 使表有效 |
exists | 测试表是否存在 |
exit | 退出Hbaseshell |
get | 获取行或单元(cell)的值 |
incr | 增加指定表,行或列的值 |
put | 向指向的表单元添加值 |
tools | 列出Hbase所支持的工具 |
scan | 通过对表的扫描来获取对用的值 |
status | 返回Hbase集群的状态信息 |
shutdown | 关闭Hbase集群(与exit不同) |
实际代码展示
[root@hadoop222 ~]# hbase shell --进入客户端
2021-04-08 13:43:19,117 INFO [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/software/hbase/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/software/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.2.0-cdh5.14.2, rUnknown, Tue Mar 27 13:31:54 PDT 2018
hbase(main):001:0> list --展示所有表格
TABLE
0 row(s) in 0.1180 seconds
=> []
hbase(main):002:0> create 'student',{NAME => 'address'},{NAME => 'name'} --创建表格
0 row(s) in 2.2790 seconds
=> Hbase::Table - student
hbase(main):003:0> list
TABLE
student
1 row(s) in 0.0060 seconds
=> ["student"]
hbase(main):004:0> put 'student','row1','address:city','nanjing' --插入数据
0 row(s) in 0.0800 seconds
hbase(main):005:0> put 'student','row1','address:street','xiaohangroad' --插入数据
0 row(s) in 0.0040 seconds
hbase(main):006:0> put 'student','row1','address:country','china' --插入数据
0 row(s) in 0.0040 seconds
hbase(main):007:0> put 'student','row1','name:first_name','steven' --插入数据
0 row(s) in 0.0040 seconds
hbase(main):008:0> put 'student','row1','name:last_name','raul' --插入数据
0 row(s) in 0.0030 seconds
hbase(main):010:0> get 'student','row1' --查询表格内的数据
COLUMN CELL
address:city timestamp=1617860977904, value=nanjing
address:country timestamp=1617861021034, value=china
address:street timestamp=1617861000277, value=xiaohangroad
name:first_name timestamp=1617861066965, value=steven
name:last_name timestamp=1617861080079, value=raul
5 row(s) in 0.0060 seconds
hbase(main):011:0> put 'student','row1','name:last_name','raullll' --再次插入数据
0 row(s) in 0.0040 seconds
hbase(main):012:0> get 'student','row1' --再次展示数据可以发现,只显示最新时间戳的值
COLUMN CELL
address:city timestamp=1617860977904, value=nanjing
address:country timestamp=1617861021034, value=china
address:street timestamp=1617861000277, value=xiaohangroad
name:first_name timestamp=1617861066965, value=steven
name:last_name timestamp=1617861215389, value=raullll
5 row(s) in 0.0080 seconds
hbase(main):013:0>
Hive 与 HBase的对比总结
两者分别是什么?
Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。
Apache HBase是一种Key/Value系统,它运行在HDFS之上。和Hive不一样,Hbase的能够在它的数据库上实时运行,而不是运行MapReduce任务。Hive被分区为表格,表格又被进一步分割为列簇。列簇必须使用schema定义,列簇将某一类型列集合起来(列不要求schema定义)。例如,“message”列簇可能包含:“to”, ”from” “date”, “subject”, 和”body”. 每一个 key/value对在Hbase中被定义为一个cell,每一个key由row-key,列簇、列和时间戳。在Hbase中,行是key/value映射的集合,这个映射通过row-key来唯一标识。Hbase利用Hadoop的基础设施,可以利用通用的设备进行水平的扩展。
两者的特点
Hive帮助熟悉SQL的人运行MapReduce任务。因为它是JDBC兼容的,同时,它也能够和现存的SQL工具整合在一起。运行Hive查询会花费很长时间,因为它会默认遍历表中所有的数据。虽然有这样的缺点,一次遍历的数据量可以通过Hive的分区机制来控制。分区允许在数据集上运行过滤查询,这些数据集存储在不同的文件夹内,查询的时候只遍历指定文件夹(分区)中的数据。这种机制可以用来,例如,只处理在某一个时间范围内的文件,只要这些文件名中包括了时间格式。
HBase通过存储key/value来工作。它支持四种主要的操作:增加或者更新行,查看一个范围内的cell,获取指定的行,删除指定的行、列或者是列的版本。版本信息用来获取历史数据(每一行的历史数据可以被删除,然后通过Hbase compactions就可以释放出空间)。虽然HBase包括表格,但是schema仅仅被表格和列簇所要求,列不需要schema。Hbase的表格包括增加/计数功能。
限制
Hive目前不支持更新操作。另外,由于hive在hadoop上运行批量操作,它需要花费很长的时间,通常是几分钟到几个小时才可以获取到查询的结果。Hive必须提供预先定义好的schema将文件和目录映射到列,并且Hive与ACID不兼容。
HBase查询是通过特定的语言来编写的,这种语言需要重新学习。类SQL的功能可以通过Apache Phonenix实现,但这是以必须提供schema为代价的。另外,Hbase也并不是兼容所有的ACID特性,虽然它支持某些特性。最后但不是最重要的–为了运行Hbase,Zookeeper是必须的,zookeeper是一个用来进行分布式协调的服务,这些服务包括配置服务,维护元信息和命名空间服务。
应用场景
Hive适合用来对一段时间内的数据进行分析查询,例如,用来计算趋势或者网站的日志。Hive不应该用来进行实时的查询。因为它需要很长时间才可以返回结果。
Hbase非常适合用来进行大数据的实时查询。Facebook用Hbase进行消息和实时的分析。它也可以用来统计Facebook的连接数。
总结
Hive和Hbase是两种基于Hadoop的不同技术–Hive是一种类SQL的引擎,并且运行MapReduce任务,Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。当然,这两种工具是可以同时使用的。就像用Google来搜索,用FaceBook进行社交一样,Hive可以用来进行统计查询,HBase可以用来进行实时查询,数据也可以从Hive写到Hbase,设置再从Hbase写回Hive。