HBase使用例子

最新推荐文章于 2021-06-21 10:06:49 发布
最新推荐文章于 2021-06-21 10:06:49 发布
阅读量685 收藏
点赞数
分类专栏： Hbase

原文链接：http://blog.csdn.net/liuj2511981/article/details/8676519

通过编码（java）的形式对HBase进行一系列的管理涉及到对表的管理、数据的操作等。

1、 对表的创建、删除、显示以及修改等，可以用HBaseAdmin， 一旦创建了表，那么可以通过HTable的 实例来访问表，每次可以往表里增加数据。
2、 插入数据
创建一个Put对 象，在这个Put对象里可以指定要给哪个列增加数据，以及当前的时间戳等值，然后通过调用HTable.put(Put)来 提交操作，子猴在这里提请注意的是：在创建Put对象的时候，你必须指定一个行(Row)值，在构造Put对象的时候作为参数传入。
3、 获取数据
要获取数据，使用Get对 象，Get对象同Put对象一样有好几个构造函数，通常在构造的时候传入行值，表示取第几行的数据，通过HTable.get(Get)来 调用。
4、 浏览每一行
通过Scan可 以对表中的行进行浏览，得到每一行的信息，比如列名，时间戳等，Scan 相当于一个游标，通过next()来浏览下一个，通过调用HTable.getScanner(Scan) 来返回一个ResultScanner对象。HTable.get(Get)和HTable.getScanner(Scan) 都是返回一个Result。 Result是一个KeyValue的 链表，
5、 删除
使用Delete来 删除记录，通过调用HTable.delete(Delete)来 执行删除操作。（注：删除这里有些特别，也就是删除并不是马上将数据从表中删除。）
6、 锁
7、 新增、获取、删除在操作过程中会对所操作的行加一个锁，而浏览却不会。
8、 簇（cluster）的访问
客户端代码通过ZooKeeper来访问找到簇，也就是说ZooKeeper quorum将被使用，那么相关的类（包）应该在客户端的类（classes）目录下，即客户端一定要找到文件hbase- site.xml。
下面是一个例子，假定你已经创建了一个表：myTable，还有一个column family（这个找不到合适的翻译词语）：myColumnFamily：
HBase是Hadoop的一个子项目,HBase采用了Google BigTable的稀疏的,面向列的数据库实现方式的理论,建立在hadoop的hdfs上,一方面里用了hdfs的高可靠性和可伸缩行,另外一方面里用了BigTable的高效数据组织形式.可以说HBase为海量数据的real-time相应提供了很好的一个开源解决方案.据说在某运营商中使用类似于BigTable(个人猜测应该就是HBase)的技术可以在两秒时间内从2TB数据中查找到某条话费记录.而这是原来该运营商使用Oracle数据库所无法解决的问题.

对于HBase使用的类似与BigTable的技术我们这里就不仔细描述,可以参考google的论文以及网上的一些相关资料.另外,HBase的配置在HBase的官方文档中有很详细的描述.可以参见相关文档.

HBase提供了一个类似于mysql等关系型数据库的shell.通过该shell我们可以对HBase的内的相关表以及列族进行控制和处理.HBase shell的help命令比较详细的列出了HBase所支持的命令.具体使用方法可以参见其文档.

这里我们用一个学生成绩表作为例子,对HBase的基本操作和基本概念进行讲解:
下面是学生的成绩表:
[sql]  view plain copy
  1. name grad      course:math   course:art  
  2. Tom    1            87                    97  
  3. Jerry   2            100                  80  

这里grad对于表来说是一个列,course对于表来说是一个列族,这个列族由两个列组成:math和art,当然我们可以根据我们的需要在course中建立更多的列族,如computer,physics等相应的列添加入course列族.
有了上面的想法和需求,我们就可以在HBase中建立相应的数据表啦!
1, 建立一个表格 scores 具有两个列族grad 和courese
[sql]  view plain copy
  1. hbase(main):002:0> create 'scores', 'grade', 'course'  
  2. 0 row(s) in 4.1610 seconds  

2,查看当先HBase中具有哪些表
[sql]  view plain copy
  1. hbase(main):003:0> list  
  2. scores  
  3. 1 row(s) in 0.0210 seconds  

3,查看表的构造
[sql]  view plain copy
  1. hbase(main):004:0> describe 'scores'  
  2. {NAME => 'scores', IS_ROOT => 'false', IS_META => 'false', FAMILIES => [{NAME => 'course', BLOOMFILTER => 'false', IN_MEMORY => 'false', LENGTH => '2147483647', BLOCKCACHE => 'false', VERSIONS => '3', TTL => '-1', COMPRESSION => 'NONE'}, {NAME => 'grade', BLOOMFILTER => 'false', IN_MEMORY => 'false', LENGTH => '2147483647', BLOCKCACHE => 'false', VERSIONS => '3', TTL => '-1', COMPRESSION => 'NONE'}]}  
  3. 1 row(s) in 0.0130 seconds  

4, 加入一行数据,行名称为 Tom 列族grad的列名为”” 值位1
[sql]  view plain copy
  1. hbase(main):005:0> put 'scores', 'Tom', 'grade:', '1'  
  2. 0 row(s) in 0.0070 seconds  

5,给Tom这一行的数据的列族添加一列 <math,87>
[sql]  view plain copy
  1. hbase(main):006:0> put 'scores', 'Tom', 'course:math', '87'  
  2. 0 row(s) in 0.0040 seconds  

[sql]  view plain copy
  1. 6,给Tom这一行的数据的列族添加一列 <art,97>  
  2. hbase(main):007:0> put 'scores', 'Tom', 'course:art', '97'  
  3. 0 row(s) in 0.0030 seconds  
  4. 7, 加入一行数据,行名称为 Jerry 列族grad的列名为”” 值位2  
  5. hbase(main):008:0> put 'scores', 'Jerry', 'grade:', '2'  
  6. 0 row(s) in 0.0040 seconds  
  7. 8,给Jerry这一行的数据的列族添加一列 <math,100>  
  8. hbase(main):009:0> put 'scores', 'Jerry', 'course:math', '100'  
  9. 0 row(s) in 0.0030 seconds  
  10. 9,给Jerry这一行的数据的列族添加一列 <art,80>  
  11. hbase(main):010:0> put 'scores', 'Jerry', 'course:art', '80'  
  12. 0 row(s) in 0.0050 seconds  
  13. 10,查看scores表中Tom的相关数据  
  14. hbase(main):011:0> get 'scores', 'Tom'  
  15. COLUMN                       CELL  
  16.  course:art                  timestamp=1224726394286, value=97  
  17.  course:math                 timestamp=1224726377027, value=87  
  18.  grade:                      timestamp=1224726360727, value=1  
  19. 3 row(s) in 0.0070 seconds  
  20. 11,查看scores表中所有数据  
  21. hbase(main):012:0> scan 'scores'  
  22. ROW                          COLUMN+CELL  
  23.  Tom                         column=course:art, timestamp=1224726394286, value=97  
  24.  Tom                         column=course:math, timestamp=1224726377027, value=87  
  25.  Tom                         column=grade:, timestamp=1224726360727, value=1  
  26.  Jerry                        column=course:art, timestamp=1224726424967, value=80  
  27.  Jerry                        column=course:math, timestamp=1224726416145, value=100  
  28.  Jerry                        column=grade:, timestamp=1224726404965, value=2  
  29. 6 row(s) in 0.0410 seconds  
  30. 12,查看scores表中所有数据courses列族的所有数据  
  31. hbase(main):013:0> scan 'scores', ['course:']  
  32. ROW                          COLUMN+CELL  
  33.  Tom                         column=course:art, timestamp=1224726394286, value=97  
  34.  Tom                         column=course:math, timestamp=1224726377027, value=87  
  35.  Jerry                        column=course:art, timestamp=1224726424967, value=80  
  36.  Jerry                        column=course:math, timestamp=1224726416145, value=100  
  37. 4 row(s) in 0.0200 seconds  

上面就是HBase的基本shell操作的一个例子,可以看出,hbase的shell还是比较简单易用的,从中也可以看出HBase shell缺少很多传统sql中的一些类似于like等相关操作,当然,HBase作为BigTable的一个开源实现,而BigTable是作为google业务的支持模型,很多sql语句中的一些东西可能还真的不需要.
当然,通过程序我们也可以对HBase进行相关的操作.下面的程序就完成了上面shell操作的内容:
[java]  view plain copy
  1. import java.io.IOException;  
  2. import java.io.ByteArrayOutputStream;  
  3. import java.io.DataOutputStream;  
  4. import java.io.ByteArrayInputStream;  
  5. import java.io.DataInputStream;  
  6. import java.util.Map;  
  7. import org.apache.hadoop.io.Writable;  
  8. import org.apache.hadoop.io.IntWritable;  
  9. import org.apache.hadoop.hbase.HBaseConfiguration;  
  10. import org.apache.hadoop.hbase.HTableDescriptor;  
  11. import org.apache.hadoop.hbase.HColumnDescriptor;  
  12. import org.apache.hadoop.hbase.client.HBaseAdmin;  
  13. import org.apache.hadoop.hbase.client.HTable;  
  14. import org.apache.hadoop.hbase.io.BatchUpdate;  
  15. import org.apache.hadoop.hbase.io.RowResult;  
  16. import org.apache.hadoop.hbase.io.Cell;  
  17. import org.apache.hadoop.hbase.util.Writables;  
  18.   
  19. public class HBaseBasic {  
  20.   
  21.     public static void main(String[] args) throws Exception {  
  22.         HBaseConfiguration config = new HBaseConfiguration();  
  23.         HBaseAdmin admin = new HBaseAdmin(config);  
  24.   
  25.         if (admin.tableExists("scores")) {  
  26.             System.out.println("drop table");  
  27.             admin.disableTable("scores");  
  28.             admin.deleteTable("scores");  
  29.         }  
  30.   
  31.         System.out.println("create table");  
  32.         HTableDescriptor tableDescripter = newHTableDescriptor("scores".getBytes());  
  33.         tableDescripter.addFamily(newHColumnDescriptor("grade:"));  
  34.         tableDescripter.addFamily(newHColumnDescriptor("course:"));  
  35.         admin.createTable(tableDescripter);  
  36.   
  37.         HTable table = new HTable(config, "scores");  
  38.   
  39.         System.out.println("add Tom's data");  
  40.         BatchUpdate tomUpdate = new BatchUpdate("Tom");  
  41.         tomUpdate.put("grade:", Writables.getBytes(newIntWritable(1)));  
  42.         tomUpdate.put("course:math", Writables.getBytes(newIntWritable(87)));  
  43.         tomUpdate.put("course:art", Writables.getBytes(newIntWritable(97)));  
  44.         table.commit(tomUpdate);  
  45.   
  46.         System.out.println("add Jerry's data");  
  47.         BatchUpdate jerryUpdate = new BatchUpdate("Jerry");  
  48.         jerryUpdate.put("grade:", Writables.getBytes(newIntWritable(2)));  
  49.         jerryUpdate.put("course:math", Writables.getBytes(newIntWritable(100)));  
  50.         jerryUpdate.put("course:art", Writables.getBytes(newIntWritable(80)));  
  51.         table.commit(jerryUpdate);  
  52.   
  53.         for (RowResult row : table.getScanner(new String[] {"course:" })) {  
  54.             System.out.format("ROW\t%s\n", newString(row.getRow()));  
  55.             for (Map.Entry<byte[], Cell> entry : row.entrySet()) {  
  56.                 String column = new String(entry.getKey());  
  57.                 Cell cell = entry.getValue();  
  58.                 IntWritable value = new IntWritable();  
  59.                 Writables.copyWritable(cell.getValue(), value);  
  60.                 System.out.format("  COLUMN\t%s\t%d\n", column, value.get());  
  61.             }  
  62.         }  
  63.     }  
  64. }  
  65.     输出如下:  
  66. drop table  
  67. 09/07/11 08:51:59 INFO client.HBaseAdmin: Disabled scores  
  68. 09/07/11 08:51:59 INFO client.HBaseAdmin: Deleted scores  
  69. create table  
  70. add Tom's data  
  71. add Jerry's data  
  72. ROW     Tom  
  73.   COLUMN        course:art      97  
  74.   COLUMN        course:math     87  
  75. ROW     Jerry  
  76.   COLUMN        course:art      80  
  77.   COLUMN        course:math     100  
Time_Now
关注
专栏目录
HBase原理与代码实例讲解
程序员光剑
07-21 609
HBase原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：HBase，非关系型数据库，分布式存储，Hadoop生态，Java开发 1. 背景介绍
HBase编程实例
summerhai
08-23 4074
摘要：在前文中安装了Hbase，通过Hbase shell可以进行一些操作，但是和实际的编程实例联系起来不方便，因此本文介绍有关Hbase编程的实例。
HBase开发实例学习
热门推荐
阳光奶爸的博客
07-27 1万+
介绍HBase的常用API的使用方法以及HBase与MapReduce的结合使用。
HBase基本知识介绍及典型案例分析
Hadoop技术博文
10-25 668
本文来自于2018年10月20日由中国 HBase 技术社区在武汉举办的中国 HBase Meetup 第六次线下交流会。分享者为本人。本文 PPT 下载 请关注 ite...
Hbase操作示例 Hbase的读写例子
03-21
本人原创， 1.Hbase连接需要改Hbase包中的两个配置文件,加上Hbase所在机器ip及端口 2.HBaseDMLT初始化环境 3.MapDataIni为建表 4.MapDataInsert为写数据 5.MapDataDelete为删除数据 6.MapDataRead为读数据
python使用phoenixdb操作hbase的方法示例
12-31
今天看看怎样在 python 中使用 phoenixdb 来操作 hbase 安装 phoenixdb 库 pip install phoenixdb 例子 首先启动 queryserver 服务 cd apache-phoenix-4.14.1-HBase-1.4-bin/bin ./queryserver.py 然后使用下面...
java代码使用thrift2操作hbase示例
11-16
在本文中，我们将深入探讨如何使用Java通过Thrift2接口操作HBase数据库。HBase是一个分布式、可扩展的大数据存储系统，它构建于Hadoop之上，支持实时读写。Thrift是一个轻量级的框架，用于跨语言服务开发，允许不同...
hbase 示例
06-05
标题中的“hbase 示例”指的是HBase的实际应用案例，而“twitbase”通常是一个用于展示HBase功能和用法的示例项目。Twitbase可能是一个模拟Twitter数据存储的系统，用来演示如何在HBase中管理和查询大规模实时数据。...
hbase-rdd-examples:HBase RDD示例项目
05-26
HBase RDD示例 这是的示例项目。 它目前可以在CDH 5.5上运行，尽管它可以在CDH的其他版本上进行较小的修改。 跑步 首先，使用 sbt assembly 这将生成target/scala-2.12/hbase-rdd-examples-assembly-0.9.1.jar 。 ...
Hbase基本使用示例
山鹰的专栏
07-20 883
import java.io.IOException;  import java.util.ArrayList;  import java.util.List;    import org.apache.hadoop.conf.Configuration;  import org.apache.hadoop.hbase.HBaseConfiguration;  import org.a
HBase的使用场景及案例
张俊杰 的博客
02-04 2180
HBase 解决不了所有的问题，但是针对某些特点的数据可以使用 HBase 高效地解决，如以下的应用场景。 数据模式是动态的或者可变的，且支持半结构化和非结构化的数据。 数据库中的很多列都包含了很多空字段，在 HBase 中的空字段不会像在关系型数据库中占用空间。 需要很高的吞吐量，瞬间写入量很大。 数据有很多版本需要维护，HBase 利用时间戳来区分不同版本的数据。 具有高可扩展性，能动态地扩展整个存储系统。 在实际应用中，有很多公司使用 HBase，如 Facebook 公司的 Social Inb
Hbase与eclipse集成的第一个例子
ChallenChenZhiPeng的专栏
08-20 7343
1、运行Eclipse，创建一个新的Java工程“HBaseClient”，右键项目根目录，选择 “Properties”->“Java Build Path”->“Library”->“Add External JARs”，将HBase解压后根目录下的hbase-0.94.1-security.jar、hbase-0.94.1-security-tests.jar和lib子目录下所有jar 包添
HBASE例子
01-16 408
在下面的例子中我们分析Apache的log并把这些log进行分析并把分析完的结果按用户IP为ROW，把log中用户的访问时间，请求方法，用户请求的协议，用户的浏览器，服务状态等写到HBase的表中。 首先我们要在HBase中建立我们的一个表来存储数据。       public static void creatTable(String table) throws IOExce
HBase基本操作
syaguang2006的专栏
11-17 370
HBase提供了Java Api的访问接口，掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要，下面看一下Java api创建、删除表，及记录的增删改查操作： package hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop
Hadoop Hbase应用案例
Yohann丶blog
06-21 361
WechatIMG126.jpeg 环境 CentOS 6.8 64位 1核 2GB JDK 1.7.0_75 64 位 Hadoop 1.1.2 Hbase 0.96.2 操作Shell 查看进程 $ 12662 NameNode 7740 Jps 14370 RunJar 12918 SecondaryNameNode 14586 RunJar 13131 TaskTrack...
Hbase 使用场景及案例
ge2468的博客
02-14 2074
Hbase特点 1. 高速写入：高速写入，对读取需求比较小。 2.大数据：分布式存储，海量数据搞得定。不用担心无限增长的数据。 3. 可靠：写入的不是内存，是硬盘，高性能 4. 查询简单：不需要复杂查询条件来查询数据的应用，HBase只支持基于rowkey的查询，对于HBase来说，单条记录或者小范围的查询是可以接受的。 Hbase使用场景1：对象存储 我们知道不少的头条类、新闻类的的...
Hadoop学习笔记（四）HBase简单应用示例
leminfei的博客
11-03 769
HBase是一个建立在HDFS之上，面向列的针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。 HBase采用了BigTable的数据模型：增强的稀疏排序映射表（Key/Value），其中，键由行关键字、列关键字和时间戳构成。 HBase提供了对大规模数据的随机、实时读写访问，同时，HBase中保存的数据可以使用MapReduce来处理，它将数据存储和并行计算完美地结合在一起。 HBase使用示例： pom.xml中添加： <dependency.
hbase使用timestampsfilter
最新发布
09-11
### 回答1： HBase中的TimestampsFilter用于过滤...使用timestampsfilter可以方便地对HBase中的数据进行时间上的过滤，并得到符合时间范围的数据结果。这可以提高数据查询的效率，提供更加精确和定制化的数据访问能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值