Hbase入门整理

最新推荐文章于 2024-04-08 10:20:43 发布
最新推荐文章于 2024-04-08 10:20:43 发布
阅读量348 收藏
点赞数
分类专栏： hadoop/hive/hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26437925/article/details/112724962
版权

目录

hbase 安装

  • 配置文件 conf/hbase-env.sh
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_171.jdk/Contents/Home
export HBASE_CLASSPATH=/Users/mubi/hadoop/hbase-2.2.6/conf
export HBASE_MANAGES_ZK=true
  • 配置文件 hbase-site.xml
<property>
  <name>hbase.rootdir</name>
  <value>file:////Users/mubi/hadoop/data/hbase</value>
</property>
//或者
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://localhost:9000/hbase</value>
</property>
  • 环境变量
export HBASE_HOME=/Users/mubi/hadoop/hbase-2.2.6
export PATH=${PATH}:${HBASE_HOME}/bin

https://hbase.apache.org/book.html#datamodel

  • 命令
./bin/start-hbase.sh
./bin/stop-hbase.sh
hbase shell
  • 正常启动
mubi@mubideMacBook-Pro hbase-2.2.6 $ hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/Users/mubi/hadoop/hadoop-2.7.1/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/Users/mubi/hadoop/hbase-2.2.6/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell
Use "help" to get list of supported commands.
Use "exit" to quit this interactive shell.
For Reference, please visit: http://hbase.apache.org/2.0/book.html#shell
Version 2.2.6, r88c9a386176e2c2b5fd9915d0e9d3ce17d0e456e, Tue Sep 15 17:36:14 CST 2020
Took 0.0027 seconds
hbase(main):001:0> list
TABLE
0 row(s)
Took 0.4003 seconds
=> []
hbase(main):002:0>

在这里插入图片描述

Hbase 基础

hbase官网文档

Hbase 架构


在这里插入图片描述

读流程

在这里插入图片描述

  • 先获取元数据，知晓数据的存储位置
  • 然后发起真正的读内存/磁盘操作
写流程

在这里插入图片描述
写操作是写hlog：先内存缓冲区，然后会持久化到磁盘

Flush 刷写

hbase-default.xml配置文件

  • hbase.regionserver.global.memorystore.size: 触发刷写到storefile的整个RegionServer最大内存,默认是堆的40%
  • optionalcacheflushinterval: RegionServer中任一Region的MemoryStore时间间隔达到该值，触发刷写,默认1小时

这两个刷写机制会触发整个RegionServer的所有MemoryStore刷写

  • hbase.hregion.memstore.flush.size: 单个region的memory store达到某个上限，会触发该memory store刷写,默认128MB
Compacy 合并小文件

因为可能有一些memory store数据量很少的时候被刷写,因此可能存在刷写到磁盘的小文件,这就需要定时进行合并

  • hbase.hregion.majorcompaction: 默认是7天,但该操作非常耗资源,因此生产环境下应该关闭,空闲时手动打开
  • hbase.hstore.compactionThreshold: 当一个region的storeFile个数超过一定数量，自动进行合并，默认是3

Hbase 数据模型

在这里插入图片描述

表的各种基础操作

创建并显示表
hbase(main):002:0>    create 'student','info','course'
Created table student
Took 1.3815 seconds
=> Hbase::Table - student
hbase(main):003:0>
hbase(main):004:0* list
TABLE
student
1 row(s)
Took 0.0295 seconds
=> ["student"]
hbase(main):005:0>
修改/查看表结构
hbase(main):002:0> alter 'student',{'NAME'=>'course','VERSIONS'=>'3'}
Updating all regions with the new schema...
1/1 regions updated.
Done.
Took 2.2785 seconds
hbase(main):003:0> desc 'student'
Table student is ENABLED
student
COLUMN FAMILIES DESCRIPTION
{NAME => 'course', VERSIONS => '3', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION
_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'fals
e', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', REPLICA
TION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMO
RY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'fals
e', COMPRESSION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE => '65536'}

{NAME => 'info', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_B
EHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false'
, DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', REPLICATI
ON_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMORY
 => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false'
, COMPRESSION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE => '65536'}

2 row(s)

QUOTAS
0 row(s)
Took 0.1168 seconds
hbase(main):004:0>
输入数据

info列族：name、age、sex、dept
course列族：english、math、physics

put 'student','201601','info:name','liu',4
put 'student','201601','info:age',15
put 'student','201601','info:sex','nv'
put 'student','201601','info:dept','PE'

put 'student','201602','info:name','wang'
put 'student','201602','info:age',16,7
put 'student','201602','info:sex','nan'
put 'student','201602','info:dept','PC'

put 'student','201603','info:name','sun',6
put 'student','201603','info:age',19
put 'student','201603','info:sex','nv'
put 'student','201603','info:dept','JAVA'

put 'student','201601','course:english',72,3
put 'student','201601','course:math',79
put 'student','201601','course:physics',82

put 'student','201602','course:english',62
put 'student','201602','course:math',68,8
put 'student','201602','course:physics',49

put 'student','201603','course:english',73,8
put 'student','201603','course:math',69
put 'student','201603','course:physics',48,6
get查看数据
hbase(main):004:0> get 'student','201601'
COLUMN                CELL
 course:english       timestamp=3, value=72
 course:math          timestamp=1610862600400, value=79
 course:physics       timestamp=1610862683257, value=82
 info:age             timestamp=1610862599809, value=15
 info:dept            timestamp=1610862599915, value=PE
 info:name            timestamp=4, value=liu
 info:sex             timestamp=1610862599862, value=nv
1 row(s)
Took 0.0528 seconds
hbase(main):005:0> get 'student','201602'
COLUMN                CELL
 course:physics       timestamp=1610862689724, value=49
 info:age             timestamp=7, value=16
 info:dept            timestamp=1610862600086, value=PC
 info:name            timestamp=1610862599977, value=wang
 info:sex             timestamp=1610862600046, value=nan
1 row(s)
Took 0.0257 seconds
hbase(main):006:0> get 'student','201603'
COLUMN                CELL
 course:english       timestamp=8, value=73
 course:math          timestamp=1610862600605, value=69
 course:physics       timestamp=6, value=48
 info:age             timestamp=1610862600198, value=19
 info:dept            timestamp=1610862600282, value=JAVA
 info:name            timestamp=6, value=sun
 info:sex             timestamp=1610862600239, value=nv
1 row(s)
Took 0.0182 seconds
hbase(main):007:0>
put更新数据
hbase(main):006:0> get 'student','201603'
COLUMN                CELL
 course:english       timestamp=8, value=73
 course:math          timestamp=1610862600605, value=69
 course:physics       timestamp=6, value=48
 info:age             timestamp=1610862600198, value=19
 info:dept            timestamp=1610862600282, value=JAVA
 info:name            timestamp=6, value=sun
 info:sex             timestamp=1610862600239, value=nv
1 row(s)
Took 0.0182 seconds
hbase(main):007:0> put 'student','201603','course:physics',60
Took 0.0085 seconds
hbase(main):008:0> get 'student','201603'
COLUMN                CELL
 course:english       timestamp=8, value=73
 course:math          timestamp=1610862600605, value=69
 course:physics       timestamp=1610862848284, value=60
 info:age             timestamp=1610862600198, value=19
 info:dept            timestamp=1610862600282, value=JAVA
 info:name            timestamp=6, value=sun
 info:sex             timestamp=1610862600239, value=nv
1 row(s)
Took 0.0361 seconds
hbase(main):009:0>
get查询
hbase(main):012:0> get 'student','201603'
COLUMN                CELL
 course:english       timestamp=8, value=73
 course:math          timestamp=1610862600605, value=69
 course:physics       timestamp=1610862848284, value=60
 info:age             timestamp=1610862600198, value=19
 info:dept            timestamp=1610862600282, value=JAVA
 info:name            timestamp=6, value=sun
 info:sex             timestamp=1610862600239, value=nv
1 row(s)
Took 0.0078 seconds
hbase(main):013:0> get 'student','201603',{COLUMN=>'course',TIMERANGE=>[5,8]}
COLUMN                CELL
 course:physics       timestamp=6, value=48
1 row(s)
Took 0.0118 seconds
hbase(main):014:0>
hbase(main):014:0> get 'student','201603',{COLUMN=>'course',TIMERANGE=>[7,8]}
COLUMN                CELL
0 row(s)
Took 0.0051 seconds
hbase(main):015:0>
scan查询
hbase(main):015:0> scan 'student',{COLUMN => 'info:name'}
ROW                   COLUMN+CELL
 201601               column=info:name, timestamp=4, value=liu
 201602               column=info:name, timestamp=1610862599977, value=wang
 201603               column=info:name, timestamp=6, value=sun
3 row(s)
Took 0.0206 seconds
hbase(main):016:0> scan 'student',{COLUMN => 'info:dept'}
ROW                   COLUMN+CELL
 201601               column=info:dept, timestamp=1610862599915, value=PE
 201602               column=info:dept, timestamp=1610862600086, value=PC
 201603               column=info:dept, timestamp=1610862600282, value=JAVA
3 row(s)
Took 0.0107 seconds
hbase(main):017:0>
hbase(main):027:0> scan 'student',{COLUMN => 'course'}
ROW                   COLUMN+CELL
 201601               column=course:english, timestamp=3, value=72
 201601               column=course:math, timestamp=1610862600400, value=79
 201601               column=course:physics, timestamp=1610862683257, value=82
 201602               column=course:physics, timestamp=1610862689724, value=49
 201603               column=course:english, timestamp=8, value=73
 201603               column=course:math, timestamp=1610862600605, value=69
 201603               column=course:physics, timestamp=1610862848284, value=60
3 row(s)
Took 0.0120 seconds
过滤器
RowFilter
hbase(main):020:0> scan 'student',FILTER=>"RowFilter(=,'substring:2')"
ROW                   COLUMN+CELL
 201601               column=course:english, timestamp=3, value=72
 201601               column=course:math, timestamp=1610862600400, value=79
 201601               column=course:physics, timestamp=1610862683257, value=82
 201601               column=info:age, timestamp=1610862599809, value=15
 201601               column=info:dept, timestamp=1610862599915, value=PE
 201601               column=info:name, timestamp=4, value=liu
 201601               column=info:sex, timestamp=1610862599862, value=nv
 201602               column=course:physics, timestamp=1610862689724, value=49
 201602               column=info:age, timestamp=7, value=16
 201602               column=info:dept, timestamp=1610862600086, value=PC
 201602               column=info:name, timestamp=1610862599977, value=wang
 201602               column=info:sex, timestamp=1610862600046, value=nan
 201603               column=course:english, timestamp=8, value=73
 201603               column=course:math, timestamp=1610862600605, value=69
 201603               column=course:physics, timestamp=1610862848284, value=60
 201603               column=info:age, timestamp=1610862600198, value=19
 201603               column=info:dept, timestamp=1610862600282, value=JAVA
 201603               column=info:name, timestamp=6, value=sun
 201603               column=info:sex, timestamp=1610862600239, value=nv
3 row(s)
Took 0.0462 seconds
hbase(main):021:0> scan 'student',FILTER=>"RowFilter(=,'substring:02')"
ROW                   COLUMN+CELL
 201602               column=course:physics, timestamp=1610862689724, value=49
 201602               column=info:age, timestamp=7, value=16
 201602               column=info:dept, timestamp=1610862600086, value=PC
 201602               column=info:name, timestamp=1610862599977, value=wang
 201602               column=info:sex, timestamp=1610862600046, value=nan
1 row(s)
Took 0.0110 seconds
hbase(main):022:0>
ValueFilter
hbase(main):035:0> scan 'student',{COLUMN => 'course'}
ROW                   COLUMN+CELL
 201601               column=course:english, timestamp=3, value=72
 201601               column=course:math, timestamp=1610862600400, value=79
 201601               column=course:physics, timestamp=1610862683257, value=82
 201602               column=course:physics, timestamp=1610862689724, value=49
 201603               column=course:english, timestamp=8, value=73
 201603               column=course:math, timestamp=1610862600605, value=69
 201603               column=course:physics, timestamp=1610862848284, value=60
3 row(s)
Took 0.0084 seconds
hbase(main):036:0> scan 'student',{COLUMN => 'course', FILTER=>"ValueFilter(>,'binary:70')"}
ROW                   COLUMN+CELL
 201601               column=course:english, timestamp=3, value=72
 201601               column=course:math, timestamp=1610862600400, value=79
 201601               column=course:physics, timestamp=1610862683257, value=82
 201603               column=course:english, timestamp=8, value=73
2 row(s)
Took 0.0254 seconds
hbase(main):037:0>
附：show_filters
hbase(main):024:0> show_filters
DependentColumnFilter
KeyOnlyFilter
ColumnCountGetFilter
SingleColumnValueFilter
PrefixFilter
SingleColumnValueExcludeFilter
FirstKeyOnlyFilter
ColumnRangeFilter
ColumnValueFilter
TimestampsFilter
FamilyFilter
QualifierFilter
ColumnPrefixFilter
RowFilter
MultipleColumnPrefixFilter
InclusiveStopFilter
PageFilter
ValueFilter
ColumnPaginationFilter
Took 0.0061 seconds
=> #<Java::JavaUtil::HashMap::KeySet:0xb0d3e7>
hbase(main):025:0>
附：filter中的比较运算符
1. LESS (<)
2. LESS_OR_EQUAL (<=)
3. EQUAL (=)
4. NOT_EQUAL (!=)
5. GREATER_OR_EQUAL (>=)
6. GREATER (>)
7. NO_OP (no operation)
master-dragon
关注
专栏目录
HBase学习之负载均衡（balance）
浩先生的博客
04-01 1万+
负载均衡是计算机网络领域的一个专业术语，该术语在分布式系统领域应用非常广泛。对于HBase来讲，不同节点（RegionServer）用户请求需要负载均衡技术，其实在HBase很早的版本中已经实现了负载均衡，0.92版本后HBase的负载均衡算
HBase入门教程，知识点总结+面试题解析
2401_83621384的博客
03-20 524
也就是HBase数据表”
HBase 简介
Lifelong learning
07-18 895
ApacheHBase是以hdfs为数据存储的，一种分布式、可扩展的NoSQL数据库。
hbase hmaster故障分析及解决方案：Timedout 300000ms waiting for namespace table to be assigned
hsg77的专栏
04-11 2660
hbase hmaster故障分析及解决方案：Timedout 300000ms waiting for namespace table to be assigned 最近生产环境hbase集群出现停掉集群之后hmaster无法启动现象，master日志报异常：Timedout 300000ms waiting for namespace table to be assigned，导致整个集群起不...
hbase启动后HMaster不见几秒就没,解决后也无法访问http://slave1:16030/ 已解决
m0_64852327的博客
12-03 371
说是./regioninfo文件不存在,我去看确实没有,同级目录下只有一个recovered.wals,但是我也不知道咋办,就再次重新安装了hbase,我之前用的hbase-2.5.4,卸载过,但是还是不好使，这次下了另一版本重新安的。删除hbase,参考了网上的,我是在finalshell上直接删了所有节点下的包,然后在master下执行,在9870下删除hbase,使用zkCli.sh删除hbase。将hbase-2.5.6包发送给slave1,slave2,slave3。这三个删完后开始安装。
hbase 2.x 永久 RIT 的解决方法
随便写写
03-27 2508
hbase环境 hbase-2.3.3 问题描述 assignment.AssignmentManager: STUCK Region-In-Transition state=OPENING, location=datanode,16902,1616836706021, table=table_name, region=fb06a2****** 解决方法一 使用hbck2重新assigns HBASE_CLASSPATH_PREFIX=./hbase-hbck2-1.1.0-SNAPSHOT.jar ./b
Hbase 知识整理 xmind
03-28
个人整理Hbase知识点，外加本人一些理解，整理为xmind形式，供有需要的朋友下载。
HBase学习笔记(个人整理)
07-26
快速入门HBase，需要理解其核心概念，如表、行键、列簇和时间戳，以及如何利用其特性进行数据建模和查询。同时，掌握HBase的安装、配置和基本操作，如创建表、插入数据、查询数据等，是学习HBase的基础。 【HBase与...
HBase入门教程
2401_83641314的博客
03-25 682
既然HBase号称”schema-less”的数据存储系统，那何来的是schema?的确，在数据库范式的支持上，HBase非常弱，这里的Schema，主要指如下一些信息的设置：NameSpace设置Column Family的数量每一个Column Family中所关联的一些关键配置HBase当前可以支持Snappy，GZ，LZO，LZ4，Bzip2以及ZSTD压缩算法先自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
【HBase入门与实战】一文搞懂HBase!_hbase入门与实践
最新发布
2401_84181125的博客
04-08 1755
定义是一个面向列存储的NoSQL数据库是一个分布式HashMap，底层数据是Key-Value格式使用HDFS作为存储并利用其可靠性什么是【分布式HashMap】？HashMap的本质是用一个简单的值形式映射一个复杂的值形式。HBase通过一个RowKey提取该RowKey下多个列族下多个列的多个值。特点数据访问速度快，响应时间约2~20ms。实时数仓和离线数仓都会用到HBase：实时数仓响应速度快离线数仓宽表列存储。
Hbase三大机制-MemoryStore Flush
HanJuly9569的博客
03-14 463
MemoryStore Flush的触发时机 首先flush的单位是Region(一个region中可能存在多个MS)不是memoryStore 某一个MemoryStore大小超过128M（默认） Region中的MemoryStore的总大小超过256M RegionServer中的JVM的40%，从MemoryStore中Region开始刷新，直到小于阈值即停止 RegionServer中HLog数量达到上限时，从最早的HLog对应的Region刷新 定时1小时刷新 手动刷新 以上几种触发方式解决
Hbase工作原理分析及优化
weixin_43913430的博客
07-12 376
逻辑架构 架构图 组件说明 Client 提供了访问HBase的一系列API接口，如Java Native API、Rest风格http API、Thrift API、scala等，并维护cache来加快对HBase的访问 Zookeeper 保证任何时候，集群中只有一个master 存贮所有Region的寻址入口。 实时监控Region server的上线和下线信息，并实时通知Master 存储HBase的schema和table元数据 .
深入理解HBase Memstore
depe16540458的博客
02-05 896
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn 小站博文地址：深入理解HBase Memstore MemStore是HBase非常重要的组成部分，深入理解MemStore的运行机制、工作原理、相关配置，对HBase集群管理以及性能调优有非常重要的帮助。 HBaseMemstore 首先通过简单介绍HBase的读写过程来理解一下MemSt...
HBASE详解
longwenyanlan的博客
11-26 460
1.HBASE与关系型数据库结合使用,存储实时数据: 一般是关系型数据库区处理实时的在线数据,处理完成之后,定期的将数据存到HBASE上面,这个定期的频率很低,一般就会认为就是在线的业务 2.zookeeper维护HBASE的元数据,HBASE的元数据存储在zookeeper中 当启动Hmaster成功的时候,Hmaster会去zookeeper中拿到regionServer的所有信息(regi...
hbase 数据写入过程习知
liyanyun的专栏
02-25 5018
一，客户端client    1,  Htable API 调用put方法发送写入请求，zookeeper查找系统表.ROOT.定位.mete.表存储位置,  2,  到定位的HRS(hregionserver)根据tablename以及rowkey直接定位region的HRS  3, 定位了region的HRS，接着client 跟 hregionserver通信，处理region写请求
hbasehlog_hbase hlog
weixin_39777543的博客
12-24 264
Hbase 每一次对数据的修改都会写入到memorystore 中，写入成功后，Hbase 便会将这条记录写入到hlog中去。当memorystore满足一定的条件后，hregionserver 便会将memorystore flush到磁盘中，记录着这些memorystore的hlog便会被删除掉。当hbase regionserver正常运行时，hlog并不起到任何作用，但是当regionse...
内存存储 MemoryStore
大冰的小屋
09-15 3636
MemoryStroe负责将没有序列化的Java对象数组或者序列化的ByteBuffer存储到内存中。 1. entries ： 存储Block数据的Map，key 为 BlockId，value 为 MemoryEntry，并能根据存储的先后顺序访问； private val entries = new LinkedHashMap[BlockId, MemoryEntry](32, 0.75f
大数据最难源码 hbase源码（二）之通讯、启动等
leaxning的博客
11-19 1896
启动流程HBase RPC的详细介绍HBase 集群启动脚本HBase Master启动流程HBase HRegionServer启动流程 HBase RPC的详细介绍 1,HBase 的 RPC 相关的实现类：RpcServer（NettyRpcServer） + RpcClient（NettyRpcClient） 如果现在启动服务端（HMaster & HRegionServer）：最终肯定会有一个步骤，要启动 RPC 服务端 如果现在启动客户端（Connection --> Admin
创建data文件_海量数据存储技术之HBase：HBase在HDFS上的目录及文件简介
weixin_32153867的博客
01-16 1108
HBase在HDFS上的目录及文件简介我们使用HUE可以查看HDFS上的文件，使用HDFS NameNode Web UI也可以查看，下面我们使用NameNode Web UI看看。下面是NameNode Web UI，点击Utilities可以看到HDFS上都有哪些文件。那么，和HBase相关的文件在哪呢？注意，名称为hbase的目录，所有与HBase相关的文件都存储在此目录下。/hbase这个...
HBase入门指南：从基础到深入理解
4. **Region 管理** - 包括移动 Region（`move`）、开启或关闭 Region（`balance_switch`）、手动 Split（`split`）以及触发 Major Compaction（数据整理）等高级操作。 **Java API 访问** - 对于更复杂的应用场景...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值