22 hbase（上）

hbase（上）

1、HBase的基本介绍

hbase是大数据领域里面一个nosql的非关系型的数据局

谷歌的三驾马车：MapReduce，GFS，bigTable

HBase主要用来存储结构化和半结构化的松散数据。

结构化数据：类似于mysql当中的一张表，字段的个数确定了，字段的类型确定了

半结构化的数据：类似于json或者xml数据

非结构化的数据：类似于音频，视频

hive可以将结构化的数据，映射成为一张表

HBase中的表一般有这样的特点：

² 大：一个表可以有上十亿行，上百万列

² 面向列:面向列(族)的存储和权限控制，列(族)独立检索。

² 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。

Doug Cutting hadoop + hbase

nutch ==> 爬虫框架，全网爬虫 ==》 数据量太大，如何检索的问题 ==》 lucene 数据量太大，如何存储的问题 hadoop

2、hbase与hadoop的关系

hbase与hadoop是紧耦合的关系，hbase依赖于hadoop

hbase的数据都是存储在hdfs上面的

hbase是一个数据库：适合频繁的读写操作

hdfs：不适合频繁的写入操作，适合一次写入，多次读取

矛盾点：hbase适合频繁的读写操作，数据都是保存在hdfs上面的，hdfs不适合频繁的读写操作，怎么解决。。。。

如果需要运行hbase，一定要保证hadoop的环境正常运行

3、RDBMS与HBase对比

1、关系型数据库
结构：

* 数据库以表的形式存在
* 支持FAT、NTFS、EXT、文件系统
* 使用Commit log存储日志
* 参考系统是坐标系统
* 使用主键（PK）
* 支持分区
* 使用行、列、单元格

功能：

* 支持向上扩展
* 使用SQL查询
* 面向行，即每一行都是一个连续单元
* 数据总量依赖于服务器配置
* 具有ACID支持
* 适合结构化数据
* 传统关系型数据库一般都是中心化的
* 支持事务
* 支持Join

2、HBase
结构：

* 数据库以region的形式存在
* 支持HDFS文件系统
* 使用WAL（Write-Ahead Logs）存储日志
* 参考系统是Zookeeper
* 使用行键（row key）
* 支持分片
* 使用行、列、列族和单元格

功能：

* 支持向外扩展
* 使用API和MapReduce来访问HBase表数据
* 面向列，即每一列都是一个连续的单元
* 数据总量不依赖具体某台机器，而取决于机器数量
* HBase不支持ACID（Atomicity、Consistency、Isolation、Durability）
* 适合结构化数据和非结构化数据
* 一般都是分布式的
* HBase不支持事务
* 不支持Join

4、HBase的简要特征

1：海量数据存储；

2：列式存储；

3：易于扩展，类似于hdfs一样，可以加节点就可以实现HBase扩展；

4：支持客户端访问的高并发的操作；

5：稀疏表。如果某一个列没有值，那么不占用存储空间；

5、hbase的架构

HMaster：主节点。主要职责，负责分配region，以及管理HRegionServer

HRegionServer：从节点。主要职责，管理region

HRegionServer = 一个HLog + 多个region

region = 一个memoryStore ，内存空间，128M + 多个storeFile 文件，内存当中的数据flush到文件里面来

多个storeFile进行合并，合并成为一个大的HFile，存储在HDFS上面了

6、HBase的集群环境搭建

注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行

第一步：下载对应的HBase的安装包

所有关于CDH版本的软件包下载地址如下
http://archive.cloudera.com/cdh5/cdh/5/
HBase对应的版本下载地址如下
http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz

第二步：压缩包上传并解压

将我们的压缩包上传到node1服务器的/export/softwares路径下并解压

cd /export/softwares/
tar -zxvf hbase-1.2.0-cdh5.14.0-bin.tar.gz -C ../servers/
cd /export/servers/hbase-1.2.0-cdh5.14.0
rm -rf ./docs/

第三步：修改配置文件

第一台机器进行修改配置文件

cd /export/servers/hbase-1.2.0-cdh5.14.0/conf

修改第一个配置文件hbase-env.sh

注释掉HBase使用内部zk
vim hbase-env.sh
export JAVA_HOME=/home/scy/softwares/jdk1.8.0_141
export HBASE_MANAGES_ZK=false

修改第二个配置文件hbase-site.xml

修改hbase-site.xml
vim hbase-site.xml

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://node1:8020/hbase</value>  
        </property>

        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>

   <!-- 0.98后的新变动，之前版本没有.port,默认端口为60000 -->
        <property>
                <name>hbase.master.port</name>
                <value>16000</value>
        </property>

        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>node1:2181,node2:2181,node3:2181</value>
        </property>

        <property>
                <name>hbase.zookeeper.property.dataDir</name>
         <value>/export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas</value>
        </property>
</configuration>

修改第三个配置文件regionservers

vim regionservers 
node1
node2
node3

创建back-masters配置文件，实现HMaster的高可用

cd /export/servers/hbase-1.2.0-cdh5.14.0/conf
vim backup-masters

node2

第四步：安装包分发到其他机器

将我们第一台机器的hbase的安装包拷贝到其他机器上面去

cd /export/servers/
scp -r hbase-1.2.0-cdh5.14.0/ node2:$PWD
scp -r hbase-1.2.0-cdh5.14.0/ node3:$PWD

第五步：三台机器创建软连接

因为hbase需要读取hadoop的core-site.xml以及hdfs-site.xml当中的配置文件信息，所以我们三台机器都要执行以下命令创建软连接

ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /export/servers/hbase-1.2.0-cdh5.14.0/conf/core-site.xml
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /export/servers/hbase-1.2.0-cdh5.14.0/conf/hdfs-site.xml

第六步：三台机器添加HBASE_HOME的环境变量

vim /etc/profile

## HBASE_HOME
export HBASE_HOME=/export/servers/hbase-1.2.0-cdh5.14.0
export PATH=$PATH:$HBASE_HOME/bin

第七步：HBase集群启动

第一台机器执行以下命令进行启动

cd /export/servers/hbase-1.2.0-cdh5.14.0
bin/start-hbase.sh

警告提示：HBase启动的时候会产生一个警告，这是因为jdk7与jdk8的问题导致的，如果linux服务器安装jdk8就会产生这样的一个警告

我们可以只是掉所有机器的hbase-env.sh当中的
“HBASE_MASTER_OPTS”和“HBASE_REGIONSERVER_OPTS”配置 来解决这个问题。不过警告不影响我们正常运行，可以不用解决

我们也可以执行以下命令单节点进行启动
启动HMaster命令
bin/hbase-daemon.sh start master
启动HRegionServer命令
bin/hbase-daemon.sh start regionserver

为了解决HMaster单点故障问题，我们可以在node02和node03机器上面都可以启动HMaster节点的进程，以实现HMaster的高可用
bin/hbase-daemon.sh start master

第八步：页面访问

浏览器页面访问
http://node1:60010/master-status

7、HBase常用基本shell操作

1.进入HBase客户端命令操作界面

$ bin/hbase shell

2.查看帮助命令

hbase(main):001:0> help

HBase Shell, version 1.2.0-cdh5.14.0, rUnknown, Sat Jan  6 13:40:03 PST 2018
Type 'help "COMMAND"', (e.g. 'help "get"' -- the quotes are necessary) for help on a specific command.
Commands are grouped. Type 'help "COMMAND_GROUP"', (e.g. 'help "general"') for help on a command group.

COMMAND GROUPS:
  Group name: general
  Commands: status, table_help, version, whoami

  Group name: ddl
  Commands: alter, alter_async, alter_status, create, describe, disable, disable_all, drop, drop_all, enable, enable_all, exists, get_table, is_disabled, is_enabled, list, locate_region, show_filters

  Group name: namespace
  Commands: alter_namespace, create_namespace, describe_namespace, drop_namespace, list_namespace, list_namespace_tables

  Group name: dml
  Commands: append, count, delete, deleteall, get, get_counter, get_splits, incr, put, scan, truncate, truncate_preserve

  Group name: tools
  Commands: assign, balance_switch, balancer, balancer_enabled, catalogjanitor_enabled, catalogjanitor_run, catalogjanitor_switch, close_region, compact, compact_mob, compact_rs, flush, major_compact, major_compact_mob, merge_region, move, normalize, normalizer_enabled, normalizer_switch, split, trace, unassign, wal_roll, zk_dump

  Group name: replication
  Commands: add_peer, append_peer_tableCFs, disable_peer, disable_table_replication, enable_peer, enable_table_replication, get_peer_config, list_peer_configs, list_peers, list_replicated_tables, remove_peer, remove_peer_tableCFs, set_peer_tableCFs, show_peer_tableCFs, update_peer_config

  Group name: snapshots
  Commands: clone_snapshot, delete_all_snapshot, delete_snapshot, list_snapshots, restore_snapshot, snapshot

  Group name: configuration
  Commands: update_all_config, update_config

  Group name: quotas
  Commands: list_quotas, set_quota

  Group name: security
  Commands: grant, list_security_capabilities, revoke, user_permission

  Group name: procedures
  Commands: abort_procedure, list_procedures

  Group name: visibility labels
  Commands: add_labels, clear_auths, get_auths, list_labels, set_auths, set_visibility

  Group name: rsgroup
  Commands: add_rsgroup, balance_rsgroup, get_rsgroup, get_server_rsgroup, get_table_rsgroup, list_rsgroups, move_servers_rsgroup, move_tables_rsgroup, remove_rsgroup

SHELL USAGE:
Quote all names in HBase Shell such as table and column names.  Commas delimit
command parameters.  Type <RETURN> after entering a command to run it.
Dictionaries of configuration used in the creation and alteration of tables are
Ruby Hashes. They look like this:

  {'key1' => 'value1', 'key2' => 'value2', ...}

and are opened and closed with curley-braces.  Key/values are delimited by the
'=>' character combination.  Usually keys are predefined constants such as
NAME, VERSIONS, COMPRESSION, etc.  Constants do not need to be quoted.  Type
'Object.constants' to see a (messy) list of all constants in the environment.

If you are using binary keys or values and need to enter them in the shell, use
double-quote'd hexadecimal representation. For example:

  hbase> get 't1', "key\x03\x3f\xcd"
  hbase> get 't1', "key\003\023\011"
  hbase> put 't1', "test\xef\xff", 'f1:', "\x01\x33\x40"

The HBase shell is the (J)Ruby IRB with the above HBase-specific commands added.
For more on the HBase Shell, see http://hbase.apache.org/book.html

3.查看当前数据库中有哪些表

hbase(main):002:0> list

4.创建一张表

创建user表，包含info、data两个列族

hbase(main):010:0> create 'user', 'info', 'data'
或者
hbase(main):010:0> create 'user', {NAME => 'info', VERSIONS => '3'}，{NAME => 'data'}

5.添加数据操作

向user表中插入信息，row key为rk0001，列族info中添加name列标示符，值为zhangsan
hbase(main):011:0> put ‘user’, ‘rk0001’, ‘info:name’, ‘zhangsan’
向user表中插入信息，row key为rk0001，列族info中添加gender列标示符，值为female
hbase(main):012:0> put ‘user’, ‘rk0001’, ‘info:gender’, ‘female’

向user表中插入信息，row key为rk0001，列族info中添加age列标示符，值为20
hbase(main):013:0> put ‘user’, ‘rk0001’, ‘info:age’, 20

向user表中插入信息，row key为rk0001，列族data中添加pic列标示符，值为picture
hbase(main):014:0> put ‘user’, ‘rk0001’, ‘data:pic’, ‘picture’

6.查询数据操作

hbase的查询比较脆弱，不支持select * from tableName left join

第一种查询方式：get rowkey 通过rowkey直接获取数据 效率最高

1.通过rowkey进行查询

获取user表中row key为rk0001的所有信息

hbase(main):015:0> get 'user', 'rk0001'

2.查看rowkey下面的某个列族的信息

获取user表中row key为rk0001，info列族的所有信息

hbase(main):016:0> get 'user', 'rk0001', 'info'

3.查看rowkey指定列族指定字段的值

获取user表中row key为rk0001，info列族的name、age列标示符的信息

hbase(main):017:0> get 'user', 'rk0001', 'info:name', 'info:age'

4.查看rowkey指定多个列族的信息

获取user表中row key为rk0001，info、data列族的信息

hbase(main):018:0> get 'user', 'rk0001', 'info', 'data'
或者你也可以这样写
hbase(main):019:0> get 'user', 'rk0001', {COLUMN => ['info', 'data']}
或者你也可以这样写，也行
hbase(main):020:0> get 'user', 'rk0001', {COLUMN => ['info:name', 'data:pic']}

5.指定rowkey与列值查询

获取user表中row key为rk0001，cell的值为zhangsan的信息

hbase(main):030:0> get 'user', 'rk0001', {FILTER => "ValueFilter(=, 'binary:zhangsan')"}

6.指定rowkey与列值模糊查询

获取user表中row key为rk0001，列标示符中含有a的信息

hbase(main):031:0> get 'user', 'rk0001', {FILTER => "(QualifierFilter(=,'substring:a'))"}

继续插入一批数据

hbase(main):032:0> put 'user', 'rk0002', 'info:name', 'fanbingbing'
hbase(main):033:0> put 'user', 'rk0002', 'info:gender', 'female'
hbase(main):034:0> put 'user', 'rk0002', 'info:nationality', '中国'
hbase(main):035:0> get 'user', 'rk0002', {FILTER => "ValueFilter(=, 'binary:中国')"}

第二种查询方式：scan tableName startRowkey endRowKey 根据rowkey的范围值进行查询、rowkey是按照字典顺序进行排列

7.rowkey的范围值查询

查询user表中列族为info，rk范围是[rk0001, rk0003)的数据

scan 'user', {COLUMNS => 'info', STARTROW => 'rk0001', ENDROW => 'rk0003'}

第三种查询方式 scan tableName 全表扫描

8.查询所有数据

查询user表中的所有信息

scan 'user'

9.列族查询

查询user表中列族为info的信息

scan 'user', {COLUMNS => 'info'}
scan 'user', {COLUMNS => 'info', RAW => true, VERSIONS => 5}
scan 'user', {COLUMNS => 'info', RAW => true, VERSIONS => 3}

10.多列族查询

查询user表中列族为info和data的信息

scan 'user', {COLUMNS => ['info', 'data']}
scan 'user', {COLUMNS => ['info:name', 'data:pic']}

11.指定列族与某个列名查询

查询user表中列族为info、列标示符为name的信息
scan 'user', {COLUMNS => 'info:name'}

12.指定列族与列名以及限定版本查询

查询user表中列族为info、列标示符为name的信息,并且版本最新的5个

scan 'user', {COLUMNS => 'info:name', VERSIONS => 5}

13.指定多个列族与按照数据值模糊查询

查询user表中列族为info和data且列标示符中含有a字符的信息

scan 'user', {COLUMNS => ['info', 'data'], FILTER => "(QualifierFilter(=,'substring:a'))"}

14.指定rowkey模糊查询

查询user表中row key以rk字符开头的

scan 'user',{FILTER=>"PrefixFilter('rk')"}

15.指定数据范围值查询

查询user表中指定范围的数据

scan 'user', {TIMERANGE => [1392368783980, 1392380169184]}

7、更新数据操作

1.更新数据值

更新操作同插入操作一模一样，只不过有数据就更新，没数据就添加

2.更新版本号

将user表的f1列族版本号改为5

hbase(main):050:0> alter 'user', NAME => 'info', VERSIONS => 5

8、删除数据以及删除表操作

1.指定rowkey以及列名进行删除

删除user表row key为rk0001，列标示符为info:name的数据

hbase(main):045:0> delete 'user', 'rk0001', 'info:name'

2.指定rowkey，列名以及字段值进行删除

删除user表row key为rk0001，列标示符为info:name，timestamp为1392383705316的数据

delete 'user', 'rk0001', 'info:name', 1392383705316

3.删除一个列族

删除一个列族：

alter 'user', NAME => 'f1', METHOD => 'delete' 或 alter 'user', 'delete' => 'f1'

4.清空表数据

hbase(main):017:0> truncate 'user'

5.删除表

首先需要先让该表为disable状态，使用命令：

hbase(main):049:0> disable 'user'

然后才能drop这个表，使用命令：

 hbase(main):050:0> drop 'user'

(注意：如果直接drop表，会报错：Drop the named table. Table must first be disabled)

8、HBase的高级shell管理命令

1.status
例如：显示服务器状态

hbase(main):058:0> status 'node1'

2.whoami
显示HBase当前用户，例如：

hbase> whoami

3.list
显示当前所有的表
4.count
统计指定表的记录数，例如：

hbase> count 'hbase_book'

5.describe
展示表结构信息

hbase(main):035:0> describe 'user'

6.exist
检查表是否存在，适用于表量特别多的情况

hbase(main):035:0> exists 'user2'

7.is_enabled、is_disabled
检查表是否启用或禁用

hbase(main):036:0> is_enabled 'user'

8.alter
该命令可以改变表和列族的模式，例如：

为当前表增加列族：
hbase> alter 'hbase_book', NAME => 'CF2', VERSIONS => 2
为当前表删除列族：
hbase(main):002:0>  alter 'hbase_book', 'delete' => 'CF2'

9.disable
禁用一张表
10.drop
删除一张表，记得在删除表之前必须先禁用
11.truncate
禁用表-删除表-创建表

9、HBase的java代码开发

熟练掌握通过使用java代码实现HBase数据库当中的数据增删改查的操作，特别是各种查询，熟练运用

第一步：创建maven工程，导入jar包

<repositories>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
    </repositories>

    <dependencies>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.0-mr1-cdh5.14.0</version>
        </dependency>


        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.2.0-cdh5.14.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.2.0-cdh5.14.0</version>
        </dependency>


        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.testng</groupId>
            <artifactId>testng</artifactId>
            <version>6.14.3</version>
            <scope>test</scope>
        </dependency>


    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                    <!--    <verbal>true</verbal>-->
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.2</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*/RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

第二步：开发javaAPI操作HBase表数据

import com.sun.org.apache.bcel.internal.generic.NEW;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.filter.*;
import org.apache.hadoop.hbase.util.Bytes;
import org.testng.annotations.AfterTest;
import org.testng.annotations.BeforeTest;
import org.testng.annotations.Test;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

1、创建表

/**
* 需求一：创建myuser表，带有f1  和f2两个列族
*
*/
    @Test
    public void  createTable() throws IOException {
   
        //连接hbase的服务端
        Configuration configuration = HBaseConfiguration.create();
        //设置hbase连接zk的地址
        configuration.set("hbase.zookeeper.quorum","node1:2181,node2:2181,node3:2181");

        //获取hbase数据库连接对象   通信三要素：ip地址，端口号，传输协议
        Connection connection = ConnectionFactory.createConnection(configuration);
        //获取管理员的对象，这个对象就是用于创建表，删除表等等
        Admin admin = connection.getAdmin();
        //创建一个表最少需要两个条件，表名和列族名
        HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf("myuser"));

        //给表设置列族名
        HColumnDescriptor f1 = new HColumnDescriptor("f1");
        HColumnDescriptor f2 = new HColumnDescriptor("f2");

        hTableDescriptor.addFamily(f1);
        hTableDescriptor.addFamily(f2);

        //创建表操作
        admin.createTable(hTableDescriptor);

        admin.close();
        connection.close();
        //获取连接对象，来创建表操作
    }

2、向表中添加数据

	private  Connection connection;
    private Table  table ;

    @BeforeTest
    public  void  init() throws IOException {
   
        //连接hbase集群
        Configuration configuration = HBaseConfiguration.create();
        configuration.set("hbase.zookeeper.quorum","node1:2181,node2:2181,node3:2181");
        connection = ConnectionFactory.createConnection(configuration);
        //获取我们的表
        table = connection.getTable(TableName.valueOf("myuser"));

    }

    /**
     * 向myuser表当中添加数据
     * hbase当中插入和更新是一样的操作，如果rowkey不存在，那么就插入，如果rowkey存在，那么就更新
     */
    @Test
    public  void  addData() throws IOException {
   

        //向表当中添加数据
        //put  'user','rk0001','info:name','zhangsan'
      /*  Put put = new Put("0001".getBytes());
        put.addColumn("f1".getBytes(),"name".getBytes(),"zhangsan".getBytes());
        put.addColumn("f1".getBytes(),"age".getBytes(),"18".getBytes());*/

        //创建put对象，并指定rowkey
        Put put = new Put("0001".getBytes());
        put.addColumn("f1".getBytes(),"id".getBytes(), Bytes.toBytes(1));
        put.addColumn("f1".getBytes(),"name".getBytes(), Bytes.toBytes("张三"));
        put.addColumn("f1".getBytes(),"age".getBytes(), Bytes.toBytes(18));

        put.addColumn("f2".getBytes(),"address".getBytes(), Bytes.toBytes("地球人"));
        put.addColumn("f2".getBytes(),"phone".getBytes(), Bytes.toBytes("15874102589"));
        //将我们构建好的put对象出入进去，就可以保存到hbase里面去了
        table.put(put);

    }
    @AfterTest
    public  void closeAfter() throws IOException {
   
        table.close();
        connection.close();
    }

3、查询数据

3.1 初始化一批数据到HBase当中用于查询