Hbase流水笔记 二

最新推荐文章于 2022-03-06 09:19:02 发布
最新推荐文章于 2022-03-06 09:19:02 发布
阅读量413 收藏
点赞数
分类专栏： Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012842247/article/details/103247399
版权

1、Hbase 中的表结构

 ./hbase shell

 我在shell 操作中创建了一个table  ，name为 ‘test10' , 一个列簇 ’colfam1'

使用了describe 命令进行查看创建的table

在表中， 列簇名为 colfam1

布隆过滤器为 ROW

table的版本号为1

IN_MEMORY 是否内存存储 ，false

...这些表中的描述，以后在点击 table 的设计中描述。


hbase(main):007:0> create 'test10','colfam1'
0 row(s) in 0.7950 seconds

hbase(main):008:0> describe 'test10'
Table test10 is ENABLED                                                                                                                                                                                     
test10                                                                                                                                                                                                      
COLUMN FAMILIES DESCRIPTION                                                                                                                                                                                 
{ NAME => 'colfam1', 
  BLOOMFILTER => 'ROW',
  VERSIONS => '1',
  IN_MEMORY => 'false',
  KEEP_DELETED_CELLS => 'FALSE',
  DATA_BLOCK_ENCODING => 'NONE',
  TTL => 'FOREVER', 
  COMPRESSION => 'NONE', 
  MIN_VERSIONS => '0',
  BLOCKCACHE => 'true',
  BLOCKSIZE => '65536', 
  REPLICATION_SCOPE => '0'
}

表的基础操作CRUD

1、list 命令

# 展示当前的所有表
hbase(main):035:0> list
TABLE                                                                                                                                                                                                       
test10                                                                                                                                                                                                      
test11                                                                                                                                                                                                      
2 row(s) in 0.0110 seconds

=> ["test10", "test11"]
hbase(main):036:0>

2、put 插入数据向表 'test10'

 'test10' 表示表

 ‘myrow-3'  表示这个行的行键，这个必须包含。

 ’colfam1:name' 表示 colfam1 表示表的列簇，name 表示这个列簇的name 列，hbase是面向列存储的。

 ‘fandong' 表示这个name 列的值。

hbase(main):036:0> put 'test10','myrow-3','colfam1:name','fandong'
0 row(s) in 0.0100 seconds

3、scan  表扫描命令

  scan + tableName  表示扫描整个表，这个用法慎用，表如果很大，会拖累服务器性能。

hbase(main):037:0> scan 'test10'
ROW                                                  COLUMN+CELL                                                                                                                                            
 myrow-1                                             column=colfam1:q1, timestamp=1574693256009, value=value-1                                                                                              
 myrow-2                                             column=colfam1:q1, timestamp=1574693267180, value=value-3                                                                                              
 myrow-3                                             column=colfam1:name, timestamp=1574693404696, value=fandong                                                                                            
3 row(s) in 0.0170 seconds

scan  其他用法，添加过滤条件

如果不清楚怎么使用，可以使用 scan help 查看其用法

hbase(main):038:0> scan help
Some examples:

  hbase> scan 'hbase:meta'
  hbase> scan 'hbase:meta', {COLUMNS => 'info:regioninfo'}
  hbase> scan 'ns1:t1', {COLUMNS => ['c1', 'c2'], LIMIT => 10, STARTROW => 'xyz'}
  hbase> scan 't1', {COLUMNS => ['c1', 'c2'], LIMIT => 10, STARTROW => 'xyz'}
  hbase> scan 't1', {COLUMNS => 'c1', TIMERANGE => [1303668804, 1303668904]}
  hbase> scan 't1', {REVERSED => true}
  hbase> scan 't1', {FILTER => "(PrefixFilter ('row2') AND
    (QualifierFilter (>=, 'binary:xyz'))) AND (TimestampsFilter ( 123, 456))"}
  hbase> scan 't1', {FILTER =>
    org.apache.hadoop.hbase.filter.ColumnPaginationFilter.new(1, 0)}
For setting the Operation Attributes 
  hbase> scan 't1', { COLUMNS => ['c1', 'c2'], ATTRIBUTES => {'mykey' => 'myvalue'}}
  hbase> scan 't1', { COLUMNS => ['c1', 'c2'], AUTHORIZATIONS => ['PRIVATE','SECRET']}
For experts, there is an additional option -- CACHE_BLOCKS -- which
switches block caching for the scanner on (true) or off (false).  By
default it is enabled.  Examples:

  hbase> scan 't1', {COLUMNS => ['c1', 'c2'], CACHE_BLOCKS => false}

Also for experts, there is an advanced option -- RAW -- which instructs the
scanner to return all cells (including delete markers and uncollected deleted
cells). This option cannot be combined with requesting specific COLUMNS.
Disabled by default.  Example:

  hbase> scan 't1', {RAW => true, VERSIONS => 10}

Besides the default 'toStringBinary' format, 'scan' supports custom formatting
by column.  A user can define a FORMATTER by adding it to the column name in
the scan specification.  The FORMATTER can be stipulated: 

 1. either as a org.apache.hadoop.hbase.util.Bytes method name (e.g, toInt, toString)
 2. or as a custom class followed by method name: e.g. 'c(MyFormatterClass).format'.

Example formatting cf:qualifier1 and cf:qualifier2 both as Integers: 
  hbase> scan 't1', {COLUMNS => ['cf:qualifier1:toInt',
    'cf:qualifier2:c(org.apache.hadoop.hbase.util.Bytes).toInt'] } 

Note that you can specify a FORMATTER by column only (cf:qualifer).  You cannot
specify a FORMATTER for all columns of a column family.

根据帮助，可以看下hbase:meta 是什么？

hbase(main):040:0* scan 'hbase:meta'
ROW                                                  COLUMN+CELL                                                                                                                                            
 hbase:namespace,,1574685680023.d48536c776d34af327fe column=info:regioninfo, timestamp=1574685680472, value={ENCODED => d48536c776d34af327fe166ea632e369, NAME => 'hbase:namespace,,1574685680023.d48536c776
 166ea632e369.                                       d34af327fe166ea632e369.', STARTKEY => '', ENDKEY => ''}                                                                                                
 hbase:namespace,,1574685680023.d48536c776d34af327fe column=info:seqnumDuringOpen, timestamp=1574686394947, value=\x00\x00\x00\x00\x00\x00\x00\x05                                                          
 166ea632e369.                                                                                                                                                                                              
 hbase:namespace,,1574685680023.d48536c776d34af327fe column=info:server, timestamp=1574686394947, value=hadoop01.fandong.com:46404                                                                          
 166ea632e369.                                                                                                                                                                                              
 hbase:namespace,,1574685680023.d48536c776d34af327fe column=info:serverstartcode, timestamp=1574686394947, value=1574686385822                                                                              
 166ea632e369.                                                                                                                                                                                              
 test10,,1574692694769.755a290796b773e6c059fcc23c4ce column=info:regioninfo, timestamp=1574692695121, value={ENCODED => 755a290796b773e6c059fcc23c4ce6c5, NAME => 'test10,,1574692694769.755a290796b773e6c05
 6c5.                                                9fcc23c4ce6c5.', STARTKEY => '', ENDKEY => ''}                                                                                                         
 test10,,1574692694769.755a290796b773e6c059fcc23c4ce column=info:seqnumDuringOpen, timestamp=1574692695306, value=\x00\x00\x00\x00\x00\x00\x00\x01                                                          
 6c5.                                                                                                                                                                                                       
 test10,,1574692694769.755a290796b773e6c059fcc23c4ce column=info:server, timestamp=1574692695306, value=hadoop01.fandong.com:46404                                                                          
 6c5.                                                                                                                                                                                                       
 test10,,1574692694769.755a290796b773e6c059fcc23c4ce column=info:serverstartcode, timestamp=1574692695306, value=1574686385822                                                                              
 6c5.                                                                                                                                                                                                       
 test11,,1574693322360.f12d1560d158107bf477a6f175e3e column=info:regioninfo, timestamp=1574693322981, value={ENCODED => f12d1560d158107bf477a6f175e3e312, NAME => 'test11,,1574693322360.f12d1560d158107bf47
 312.                                                7a6f175e3e312.', STARTKEY => '', ENDKEY => ''}                                                                                                         
 test11,,1574693322360.f12d1560d158107bf477a6f175e3e column=info:seqnumDuringOpen, timestamp=1574693323058, value=\x00\x00\x00\x00\x00\x00\x00\x01                                                          
 312.                                                                                                                                                                                                       
 test11,,1574693322360.f12d1560d158107bf477a6f175e3e column=info:server, timestamp=1574693323058, value=hadoop01.fandong.com:46404                                                                          
 312.                                                                                                                                                                                                       
 test11,,1574693322360.f12d1560d158107bf477a6f175e3e column=info:serverstartcode, timestamp=1574693323058, value=1574686385822                                                                              
 312.                                                                                                                                                                                                       
3 row(s) in 0.0410 seconds

scan 命令范围查找获取myrow-1, myrow-2 的数据

1、指定扫描的列

2、设定扫描的开始（包括）

3、设定扫描的结束 （不包括）

这个是过滤指定的列，若果过滤多个列怎么做

hbase(main):044:0> scan 'test10',{COLUMNS=>'colfam1:q1',STARTROW =>'myrow-1', STOPROW =>'myrow-3'}
ROW                                                  COLUMN+CELL                                                                                                                                            
 myrow-1                                             column=colfam1:q1, timestamp=1574693256009, value=value-1                                                                                              
 myrow-2                                             column=colfam1:q1, timestamp=1574693267180, value=value-3                                                                                              
2 row(s) in 0.0270 seconds
hbase(main):003:0> scan 'test10',{COLUMNS=> ['colfam1:q1','colfam1:name'],STARTROW =>'myrow-1', STOPROW =>'myrow-5'}
ROW                                                  COLUMN+CELL                                                                                                                                            
 myrow-1                                             column=colfam1:q1, timestamp=1574693256009, value=value-1                                                                                              
 myrow-2                                             column=colfam1:q1, timestamp=1574693267180, value=value-3                                                                                              
 myrow-3                                             column=colfam1:name, timestamp=1574693404696, value=fandong                                                                                            
 myrow-4                                             column=colfam1:name, timestamp=1574694474272, value=fandong                                                                                            
 myrow-4                                             column=colfam1:q1, timestamp=1574694503077, value=value-4                                                                                              
4 row(s) in 0.0330 seconds

 

4、修改table 'test10' 增加一列 colfam1: name

执行一样的put操作就可以。

hbase(main):046:0> put 'test10','myrow-4','colfam1:name','fandong'
0 row(s) in 0.0150 seconds

hbase(main):047:0> scan 'test10'
ROW                                                  COLUMN+CELL                                                                                                                                            
 myrow-1                                             column=colfam1:q1, timestamp=1574693256009, value=value-1                                                                                              
 myrow-2                                             column=colfam1:q1, timestamp=1574693267180, value=value-3                                                                                              
 myrow-3                                             column=colfam1:name, timestamp=1574693404696, value=fandong                                                                                            
 myrow-4                                             column=colfam1:name, timestamp=1574694474272, value=fandong                                                                                            
4 row(s) in 0.0190 seconds

5 、get  + tablename + rowkey 

hbase(main):004:0> get 'test10','myrow-1'
COLUMN                                               CELL                                                                                                                                                   
 colfam1:q1                                          timestamp=1574693256009, value=value-1                                                                                                                 
1 row(s) in 0.0160 seconds

。。。继续

大漠孤烟BLOG
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hbase 流水笔记一
u012842247的专栏
11-25 126
1、快速开始hbase 解压hbase [root@hadoop04 hbase]# tar -zxvf hbase-0.98.17-hadoop2-bin.tar.gz 找到配置文件 conf/hbase-env.sh 1、 修改 # The java implementation to use. Java 1.6 required. export JAVA...
Hbase 流水笔记 四 Rowkey设计
u012842247的专栏
11-27 242
RowKey的设计对数据的存储及读取至关重要。 问题1：Hotspotting 热点问题。 Hotspotting occurs when a large amount of client traffic is directed at one node, or only a few nodes, of a cluster. This traffic may repre...
Hbase存储及元数据meta
youngflyer的博客
01-19 5636
Hbase的列族式存储 列族就是多个数据列的组合，列族式可以说是表的schema的一部分，而列不是。Hbase可以说是列簇数据库，在创建表的时候要指定列族，而不需要指定具体的列。 Hbase Table组成：Table = rowkey + family + column + timestamp + value 数据存储模式：(Table, rowkey , family , column , timestamp) -> Value Hbase数据存储原型 HBase 是一个稀疏的、分布式、
Hbase shell中使用Filter过滤器总结
浅谈
07-02 5881
Hbase shell中使用Filter过滤器总结RowFilterValueFilterSingleColumnValueFilterPrefixFilterColumnPrefixFilterMultipleColumnPrefixFilterPageFilterInclusiveStopFilterFamilyFilterQualifierFilterSingleColumnValueExcludeFilter 在hbase shel1中使用过滤器的格式为 #可以通过show_filters查询当前版
Hbase批量查询-scan介绍
kw-home
04-16 4万+
1.scan原理 HBase的查询实现只提供两种方式： 1、按指定RowKey 获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get） Get 的方法处理分两种 : 设置了ClosestRowBefore 和没有设置的rowlock .主要是用来保证行的事务性，即每个get 是以一个row 来标记的.一个row中可以有很多family 和colu...
Hbase源码笔记资料.zip
08-17
hive编译,jars,HBaseScanner构建.pptx,HBase之RegionServer命令启动流程.pptx,扩展.docx,尚硅谷大数据技术之HBase.xmind,尚硅谷大数据技术之HBase.pdf等等 很全。
HBase自学笔记
07-09
本自学笔记,是根据各大机构及HBase官网综合整理,笔记中有详细的知识体系,从基础到提升再到案例,深入浅出介绍hbase.
HBase学习笔记(个人整理)
07-26
【HBase基本概念】 HBase，全称为Hadoop Database，是一种分布式的、可扩展的、版本化的、面向列的Java实现的开源键值数据库。它建立在Apache Hadoop和ZooKeeper之上，参照了Google的BigTable设计。HBase属于NoSQL...
hbase学习笔记
07-18
在深入探讨HBase之前，我们先来了解一下HBase的基本概念。HBase是一个基于谷歌Bigtable理念设计的开源分布式数据库，它构建在Hadoop的HDFS之上，并依赖Zookeeper进行协调服务。HBase的设计目标是为了处理大规模的...
大数据Hbase 的学习笔记
01-10
自己在大数据培训班学习整理的笔记，比较详细，适合新手学习，我感觉还是挺有帮助的，希望可以帮助到你
hbase查看表结构_HBase 运维HBase Region 重叠问题处理
weixin_39803552的博客
11-23 296
最近某应用反馈HBase数据插入数据后、查询出现错误数据现象如下：有一行数据：前面时间T1：插入3列后面时间T2：插入1列(通过put新值来更新某列数据)scan操作只能看到 时间点T1的3列数据，get操作只能看到时间点T2的1列最新数据具体例子：有一行数据rowkey是591420001时间点T1:插入数据c1-c3 共3列，注意此时c2=2...
HBase Scan命令详解
zy353003874的博客
09-16 1万+
hbase中scan命令是我们经常使用到的，而filter的作用尤其强大。这里简要的介绍下scan下filter命令的使用. 插入scan命令需要的数据 这里模拟了部分微博评论的数据,然后使用代码插入数据到hbase,代码就不列出来了比较简单。 public class Comment { //1-->普通文章，2--->热点文章 Integer articleType; //文章id String articleId; String userId;
Hbase07：深入HBase【一些理论】
weixin_40612128的博客
03-06 627
一、Region概念解释 Region可以翻译为区域，在HBase里面，一个表中的数据，会按照行被横向划分为多个Region。 每个Region，按照存储的Rowkey的最小行键和最大行键指定的，使用区间[start Rowkey,end Rowkey) 解释： 如果一个文件中数据量很大的时候，从这个大文件中读取数据肯定会比较慢 打开一个小文件查找数据和打开一个大文件查找数据的效率是不一样的 看下面这个图： 在这个图里面，表t1刚创建的时候默认只有1个Region，后来数据量多了以后，Region会自动
HBase shell scan 模糊查询
热门推荐
power0405hf的专栏
11-13 8万+
0.进入hbase shell ./hbase shell help help “get” #查看单独的某个命令的帮助 1. 一般命令 status 查看状态 version 查看版本 2.DDL（数据定义语言Data Definition Language）命令1. 创建表create ‘表名称’,’列名称1’，’列名称2’，’列名称3’ 如：create 'member','
-f shell 模糊匹配_HBase shell scan 模糊查询
weixin_30297493的博客
01-17 641
0.进入hbase shell./hbase shellhelphelp “get” #查看单独的某个命令的帮助1. 一般命令status 查看状态version 查看版本2.DDL(数据定义语言Data Definition Language)命令1. 创建表create ‘表名称’,’列名称1’，’列名称2’，’列名称3’如：create 'member','member_id','ad...
深入HBase架构解析
小草君技术专栏
06-12 8196
深入HBase架构解析深入HBase架构解析深入HBase架构解析深入HBase架构解析
[HBase基础]--RowKey查询(Scan和Get比较)
欢迎来到我的博客，一起探索代码里的世界！
05-05 2万+
一、HBase查询方式    hbase的查询实现只提供两种方式：按指定rowkey获取唯一一条记录：get方法。按指定条件获取一批记录：scan方法。    实现条件查询功能使用的就是scan方式，scan在使用时有以下几点值的注意：scan可以通过setCaching与setBatch方法提高速度（以空间换时间）scan可以通过setStartRow与setEndRow来限定范围。范围越小，性...
HBase最佳实践Scan系列一Scan用法详解
张伟的专栏
07-02 3万+
问题导读：1.HBase中Scan主要有哪几种常见用法？2.scan客户端的设计原理是什么？3.怎样从HBase中扫描大量数据进行分析？HBase中Scan从大的层面来看主要有三种常见用法：ScanAPI、TableScanMR以及SnapshotScanMR。三种用法的原理不尽相同，扫描效率也当然相差甚多，最重要的是这几种用法适用于不同的应用场景，业务需要根据自己的使用场景选择合适的扫描方式。接...
Hbase概述及Hbase shell 操作
ckw__xyy的博客
09-24 405
Hbase一.Hbase概述二.Hbase发展史三.Hbase应用场景四.Apache HBase生态圈五.HBase物理架构六.HBase数据管理七.HBase架构特点八.HBase Shell九.HBase操作十.示例 一.Hbase概述 1.Hbase是一个领先的NoSQL数据库 * 是一个面向列的数据库 * 是一个分布式hash map * 基于Google Big Table论文 * 使用HDFS作为存储并利用其可靠性 2.Hbase特点 * 数据访问速度快,响应时间约2-20毫秒 * 支持随机读
03.hadoop上课笔记之java编程和hbase
最新发布
05-31
本文主要介绍了Hadoop课程中关于Java编程和Hbase的笔记。首先介绍了Hbase和Java编程的一些基本概念和类，包括Admin类、HBaseConfiguration类、HBaseDescriptor接口、HColumnDescriptor类、Table接口、Put类、Get类、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值