Hadoop学习笔记（四）：HBase

最新推荐文章于 2022-06-16 16:18:33 发布
最新推荐文章于 2022-06-16 16:18:33 发布
阅读量624 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Chaoer89/article/details/45557553
版权

HBase是在一个HDFS上开发的面向列的分布式数据库。HBase不是关系型数据库，不支持SQL。

HTable一些基本概念

  • Row key

行主键， HBase不支持条件查询和Order by等查询，读取记录只能按Row key（及其range）或全表扫描，因此Row key需要根据业务来设计以利用其存储排序特性（Table按Row key字典序排序如1,10,100,11,2）提高性能。

  • Column Family（列族）

在表创建时声明，每个Column Family为一个存储单元。在上例中设计了一个HBase表blog，该表有两个列族：article和author。

  • Column（列）

HBase的每个列都属于一个列族，以列族名为前缀，如列article:title和article:content属于article列族，author:name和author:nickname属于author列族。
Column不用创建表时定义即可以动态新增，同一Column Family的Columns会群聚在一个存储单元上，并依Column key排序，因此设计时应将具有相同I/O特性的Column设计在一个Column Family上以提高性能。

  • Timestamp

HBase通过row和column确定一份数据，这份数据的值可能有多个版本，不同版本的值按照时间倒序排序，即最新的数据排在最前面，查询时默认返回最新版本。如上例中row key=1的author:nickname值有两个版本，分别为1317180070811对应的“一叶渡江”和1317180718830对应的“yedu”（对应到实际业务可以理解为在某时刻修改了nickname为yedu，但旧值仍然存在）。Timestamp默认为系统当前时间（精确到毫秒），也可以在写入数据时指定该值。

  • Value

每个值通过4个键唯一索引，tableName+RowKey+ColumnKey+Timestamp=>value，例如上例中{tableName=’blog’,RowKey=’1’,ColumnName=’author:nickname’,Timestamp=’ 1317180718830’}索引到的唯一值是“yedu”。

  • 存储类型

TableName 是字符串
RowKey 和 ColumnName 是二进制值（Java 类型 byte[]）
Timestamp 是一个 64 位整数（Java 类型 long）
value 是一个字节数组（Java类型 byte[]）。

SHELL操作

  HBase提供了丰富的访问接口,其中HBase Shell是常用的便捷方式。
     • HBase Shell
     • Java clietn API
     • Jython、Groovy DSL、Scala
     • REST
     • Thrift（Ruby、Python、Perl、C++…）
     • MapReduce
     • Hive/Pig

   创建表
> create 'test','data1','data2'
   Column Family是schema的一部分，而Column不是。这里的data1和data2是Column Family。

   增加记录
>put 'test','1','data1:name','luc'
>put 'test','1','data1:age','24'
>put 'test','1','data2:height','170cm'
>put 'test','1','data2:weight','65kg'
>put 'test','1','data1:nickname','vichao'
 Column完全动态扩展，每行可以有不同的Columns。(ps:好像有点胖啊，要减肥~~)

   根据RowKey查询
> get 'test','1'

HTable按RowKey字典序（1,10,100,11,2）自动排序，每行包含任意数量的Columns，Columns按ColumnKey（data1:age,data1:name,data1:nickname,data2:height,data2:weight）自动排序。

   更新操作

  • 查询值:

> get 'test','1','data1:nickname'

  • 更新nickname为'vic':

> put 'test','1','data1:nickname','vic'

  • 查询更新后的结果：(返回的将是vic)

> get ‘blog’,’1’,’data1:nickname’

知识点回顾：查询默认返回最近的值。

  • 查询nickname的多个(本示例为2个)版本值

> get 'test','1',{COLUMN => 'data1:nickname',VERSIONS => 2}

知识点回顾：每个Column可以有任意数量的Values，按Timestamp倒序自动排序。

  • 如何只查询到以前的旧版本呢，需要借助Timestamp

>get 'test','1',{COLUMN=>'data1:nickname',TIMESTAMP=>1373707746997}

知识点回顾：TabelName+RowKey+Column+Timestamp=>Value

  删除记录

  • delete只能删除一个column

>delete 'test','1','data1:nickname'

  • 删除RowKey的所有column用deleteall

>deleteall 'test','1'
   删除表
练习完毕，把练习表删了吧，删除之前需要先disable
>disable 'test'
>drop 'test'

 

JAVA API操作

    javaAPI操作还是比较简单的，各种api类和api函数，直接上代码了

import java.io.IOException;

import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.conf.Configuration;

public class ExampleClient {

    public static void main(String[] args) throws IOException {
        
        Configuration conf = HBaseConfiguration.create();

        // Create table
        HBaseAdmin admin = new HBaseAdmin(conf);
        HTableDescriptor htd = new HTableDescriptor("test");
        HColumnDescriptor hcd = new HColumnDescriptor("data");
        htd.addFamily(hcd);
        admin.createTable(htd);
        byte[] tablename = htd.getName();
        HTableDescriptor[] tables = admin.listTables();
        if (tables.length != 1 && Bytes.equals(tablename, tables[0].getName())) {
            throw new IOException("Failed create of table!");
        }

        // Run some operations
        HTable table = new HTable(conf, tablename);
        byte[] row1 = Bytes.toBytes("row1");
        Put p1 = new Put(row1);
        byte[] databytes = Bytes.toBytes("data");
        p1.add(databytes, Bytes.toBytes("1"), Bytes.toBytes("value1"));
        table.put(p1);

        Get g = new Get(row1);
        Result result = table.get(g);
        System.out.println("GET:" + result);

        Scan scan = new Scan();
        ResultScanner scanner = table.getScanner(scan);
        try {
            for (Result scannerResult : scanner) {
                System.out.println("Scan:" + scannerResult);
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            scanner.close();
        }

        // Drop the table
        admin.disableTable(tablename);
        admin.deleteTable(tablename);

    }
}

 

      这里要注意的一点是连接到HBase需要将将HBase环境的hbase-site.xml文件引入到工程中，就像jdbc的数据库连接一样，不然是连不上hbase滴。

   Configuration conf = HBaseConfiguration.create();//这行代码会从hbase-site.xml中读取配置信息

HBase MapReduce操作

     直接上代码了：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.mapreduce.Job;

public class testHBaseMR {
    public static class Mapper extends
            TableMapper<ImmutableBytesWritable, ImmutableBytesWritable> {
        public Mapper() {
        }

        @Override
        public void map(ImmutableBytesWritable row, Result values,
                Context context) throws IOException {
            ImmutableBytesWritable value = null;
            String[] tags = null;
            for (KeyValue kv : values.list()) {
                if ("author".equals(Bytes.toString(kv.getFamily()))
                        && "nickname".equals(Bytes.toString(kv.getQualifier()))) {
                    value = new ImmutableBytesWritable(kv.getValue());
                }
                if ("article".equals(Bytes.toString(kv.getFamily()))
                        && "tags".equals(Bytes.toString(kv.getQualifier()))) {
                    tags = Bytes.toString(kv.getValue()).split(",");
                }
            }
            for (int i = 0; i < tags.length; i++) {
                ImmutableBytesWritable key = new ImmutableBytesWritable(
                        Bytes.toBytes(tags[i].toLowerCase()));
                try {
                    context.write(key, value);
                } catch (InterruptedException e) {
                    throw new IOException(e);
                }
            }
        }
    }

    public static class Reducer
            extends
            TableReducer<ImmutableBytesWritable, ImmutableBytesWritable, ImmutableBytesWritable> {
        @Override
        public void reduce(ImmutableBytesWritable key, Iterable values,
                Context context) throws IOException, InterruptedException {
            String friends = "";
            for (ImmutableBytesWritable val : values) {
                friends += (friends.length() > 0 ? "," : "")
                        + Bytes.toString(val.get());
            }
            Put put = new Put(key.get());
            put.add(Bytes.toBytes("person"), Bytes.toBytes("nicknames"),
                    Bytes.toBytes(friends));
            context.write(key, put);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf = HBaseConfiguration.create(conf);
        Job job = new Job(conf, "HBase_FindFriend");
        job.setJarByClass(testHBaseMR.class);
        Scan scan = new Scan();
        scan.addColumn(Bytes.toBytes("author"), Bytes.toBytes("nickname"));
        scan.addColumn(Bytes.toBytes("article"), Bytes.toBytes("tags"));
        TableMapReduceUtil
                .initTableMapperJob("blog", scan, Mapper.class,
                        ImmutableBytesWritable.class,
                        ImmutableBytesWritable.class, job);
        TableMapReduceUtil
                .initTableReducerJob("tag_friend", Reducer.class, job);
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }

}
TableMapReduceUtil.initTableMapperJob；TableMapReduceUtil.initTableReducerJob 用来指定map和reduce。相当于hbase的MR操作工具类吧~

 

 优化

       针对行的键按数据排列的次序进行随机处理；

       每个任务只实例化一个HTable对象；

       HTable.put(put)执行put操作时不使用任何缓冲。可以通过使用HTable.setAutoFlush(false),设置禁用自动刷入，并设置写缓冲大小，同时在任务的最后设置HTable.flushCommits()或者HTable.close(),以确保缓冲中最后没有剩下的未刷入的数据；

       设计行键的时候要多加考虑，可以使用复合键，如果键是整数，则应该使用二进制形式以节省存储空间；

HBase和RDBMS的比较

       HBase：       

       HBase是一个分布式的面向列的数据存储系统；

       HBase表可以很高和很宽（数十亿行，数百万列）；

       水平分区并在数千个商用机节点上自动复制；

       表的模式是物理存储的直接反映；

       不支持SQL；

       不需要强一致性和参照完整性；

       不支持索引；行是顺序存储的，每行中的列也是，不存在索引膨胀的问题，插入性能和表的大小无关

      事务好像仅仅支持针对某一行的一系列Put/Delete操作。不同行、不同表间的操作是无法放在一个事务中的；

       HBase不支持条件查询和Order by等查询，读取记录只能按Row key（及其range）或全表扫描；

      没有内置对连接操作的支持，但是由于表的宽度可以很大，一个宽行可以容下一个主键相关的所有数据，并不需要使用连接；

 

       RDBMS：

       支持SQL；

       需要强一致性和参照完整性；

       支持事务，索引等；

HBase的特性

      没有索引,行是顺序存储的，每行中的列也是，不存在索引膨胀的问题，插入性能和表的大小无关;

      自动分区，在表增长的时候，表会自动分裂成区域，并分布到可用的节点上；

      线性扩展和对于新节点的自动处理，增加一个节点，把它指向现有的集群，并运行Regionserver，区域会自动重新进行平衡，负载会均匀分布；

      普通商用硬件支持；

      容错，大量节点意味着每个节点的重要性并不突出，不用担心单个节点失效；

      批处理，支持MapReduce操作，可以用全并行的分布式作业来处理数据；

 

        

 

 

super_luc
关注
专栏目录
大数据学习笔记54：HBase概述
howard2005的专栏
02-15 707
文章目录一、HBase概述（一）从BigTable说起（二）HBase简介1、HBase是什么2、Hadoop生态系统中HBase与其他部分的关系3、HBase和BigTable的底层技术对应关系4、为什么需要HBase（三）HBase与传统关系数据库的对比分析1、数据类型2、数据操作3、存储模式4、数据索引5、数据维护6、可伸缩性二、HBase访问接口三、HBase数据模型1、数据模型概述2、数...
大数据学习笔记：HBase Shell操作
howard2005的专栏
12-04 1116
文章目录一、启动HBase Shell二、HBase Shell操作（一）help——帮助信息 一、启动HBase Shell 在虚拟机hadoop上使用伪分布式HBase进行演示 依次启动HDFS、启动HBase、启动HBase Shell 二、HBase Shell操作 （一）help——帮助信息 执行help命令，查看帮助信息 ...
HBase的概述、底层原理
写的不好之处,请指教
12-12 5812
一、Hbase 基本介绍 简介 hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。 它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。 主要用来存储结构化和半结构化的松散数据。 Hbase查询数据功...
HBase的特征和优点
shekey92的博客
07-21 1396
摘自：http://blog.jobbole.com/83614/ Hbase是运行在Hadoop上的NoSQL数据库，它是一个分布式的和可扩展的大数据仓库，也就是说HBase能够利用HDFS的分布式处理模式，并从Hadoop的MapReduce程序模型中获益。这意味着在一组商业硬件上存储许多具有数十亿行和上百万列的大表。除去Hadoop的优势，HBase本身就是十分强大的数据库，它能够融合ke
Hbase特性介绍
热门推荐
思考、总结、专注
08-21 1万+
1、什么是Hbase。 是一个高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。 适合于存储非结构化数据，基于列的而不是基于行的模式 如图：Hadoop生态中HBase与其他部分的关系。 2、关系数据库已经流行很多年，并且Hadoop已经有了HDFS和MapReduce，为什么需要HBase? Hadoop可以很好地解决大规模数据的离线批量处理问题，但是，受限于Hadoo...
HBase特点
领导的博客
03-17 2335
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的开源分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Apache提供的开源的非关系型数据库。 HBase的底层存储是基于Hadoop，是一个分布式，可扩展，大数据库数据库 HBase能够实时读写大量的数据。单张表就可以做到10亿*百万列数据量的级别。 H...
HBase 的特点是什么
学一次的博客
06-16 5904
HBase是一个分布式的、面向列的开源数据库存储系统，具有高可靠性、高性能和可伸缩性，它可以处理分布在数千台通用服务器上的PB级的海量数据。 HBase不同于一般的关系型数据库，它是一个适合于非结构化数据存储的数据库。HBase不限制存储的数据的种类，允许动态的、灵活的数据模型。 BigTable的底层是通过GFS来存储数据，而HBase对应的则是通过HDFS（Hadoop分布式文件系统）来存储数据的。...
Hadoop学习笔记： 分布式数据库 HBase
BigPig的博客
01-11 2240
HBase概述 HBase是一个构建在HDFS上的分布式列存储系统，是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储。HBase是Google Bigtable的开源实现，从逻辑上讲，HBase将数据按照表、行和列进行存储，它是一个分布式的、稀疏的、持久化存储的多维度排序表。Hbase会把数据写到HDFS文件系统中。 HBase具有以下特点：1）良好的扩展性；2）读和写...
Hadoop学习笔记
09-19
这个“Hadoop学习笔记”涵盖了Hadoop生态系统中的核心组件，包括HDFS（Hadoop分布式文件系统）、HBase（一个分布式、列式存储的数据库）、Hive（数据仓库工具）以及Spark（一个快速、通用且可扩展的数据处理引擎）。...
大数据学习笔记：HBase操作、问题解决与数据质量管理
本资源是一份关于大数据学习笔记文档，重点涵盖了Hadoop和HBase的管理和操作技巧。首先，提到在进行HBase操作时，如果遇到错误，应检查`/usr/local/hbase/logs`目录的日志文件以定位问题，强调了在分布式环境中处理...
Hbase的基本特性及工作机制
while false
07-20 2035
基本特性: Hbase是一种nosql数据库，是一种分布式数据库系统,可以提供数据的实时随机读写     数据的最终持久化存储是基于hdfs的，特点是可以随时实现在线扩容     数据的增删改查模块是基于分布式系统的 Hbase数据库与关系型数据库不一样:         关系型数据库的表结构是字段名，下面存储的是字段值，而Hbase数据库没有这些，Hbase的表结构是rowkey(行键...
第二章 Hbase专题之特性详述（原理+图解）
qq_27924553的博客
02-22 1538
Hbase特性详述
Hbase--特点以及基本概念
qq_46893497的博客
02-28 613
特点以及基本概念1、特点大表分布式多版本：VERSIONSNoSQL： non-relational database2、概念基本存储Hbase的概念以及逻辑结构namespace：命名空间tablerowkey：行键，它的功能就是MySQL中的主键的功能column family：列族或者列簇column：hbase表中的一列，任何一列都必须属于某个列族VERSION：这是列族的一个属性，可以定义这个列族中的所有列可以存储几个版本的值，默认为1Timestamp：时间戳，标记数据写入的时间逻辑结构3、列存
Hbase 初学者(1) 基础特性
qqbwww的专栏
11-21 587
Hbase 初学者(1) 基础特性内容来自书籍 Apache HBase PrimerHBase是一个开源NoSQL数据库，基于列存储数据存储模型。HBase是Java语言编写的。提供了JAVA API，RESTfulAPI和Thrift.基本特性 非关系型 基于列 分布式 可扩展 大数据存储 分布式提供了两种分布式方式 伪分布式：所有HBase 守护进程运行在一个节点上。 完全分布式：守护进程运行
Hbase的几大特性
m0_47400538的博客
02-10 7023
Hbase的几大特性
hbase的基本使用及重要特性
liulidoing的博客
09-26 463
文章目录hbase的基本使用及重要特性1 启动hbase集群2 启动hbase的命令行客户端2.2 hbase命令行客户端操作2.2.1 建表2.2.2 插入数据3 查询方式一 ：scan扫描3.2 查询方式二 ： get单行数据4 删除4.1 删除一个kv 数据4.2 删除某一行数据4.3 删除整个表5 Hbase重要特性--排序特性（行键） hbase的基本使用及重要特性 1 启动hbase...
IDH HBase中实现的一些特性
weixin_34392906的博客
04-08 141
IDH为Intel’s Distribution of Hadoop的简称，中文为英特尔Hadoop发行版，目前应该没有人在维护该产品了。这里简单介绍一下IDH HBase中实现的一些特性。 以下部分内容摘自IDH官方的一些文档，部分内容来自我的整理： 1、 单调数据的加盐处理 对于写入的rowkey是基本单调的（例如时序数据），IDH引入了一个新的接口...
HBase概述
01-10 863
Apache HBase 是一个分布式的、面向列的开源数据库。正如上一节所提到的，该技术来源于 Google 的 Bigtable。就像 Bigtable 利用了 GFS 所提供的分布式数据存储一样，Apache HBase 在 Hadoop 之上提供了类似于Bigtable 的能力。HBase 是 Apache 的 Hadoop 项目的子项目。HBase 不同于一般的关系数据库，它是一个适合
HBase介绍和基础架构
Imflash的博客
09-22 754
文章目录1、HBase基本介绍简介HBase的发展历程2、HBase与Hadoop的关系1、HDFS2、HBase3、RDBMS与HBase的对比1、关系型数据库2、HBase4、HBase特征简要1）海量存储2）列式存储3）极易扩展4）高并发5）稀疏5、HBase的基础架构1、HMaster2、RegionServer 1、HBase基本介绍 简介 hbase是bigtable的开源java版本...
Hadoop学习笔记：核心概念与组件解析
"这是一份关于Hadoop学习的综合笔记，主要涵盖了Hadoop的相关概念和组件，包括序列化与反序列化、HBase原理架构、Impala与Hive的比较以及Spark的基本架构和适用场景。这份笔记是作者在学习过程中整理的个人记忆备份...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值