HBase集群搭建和操作

最新推荐文章于 2023-04-20 17:17:29 发布

Imflash

最新推荐文章于 2023-04-20 17:17:29 发布

阅读量703

点赞数 1

分类专栏： hbase

本文链接：https://blog.csdn.net/Imflash/article/details/101147171

版权

本文详细介绍了HBase的集群环境搭建步骤，包括下载安装包、配置文件修改、分发安装包、创建软链接和设置环境变量等。接着，文章列举了HBase的常用shell操作，如进入客户端、查看帮助、创建和删除表、数据的增删改查等，以及高级shell管理命令。最后，讲解了如何通过Java API进行HBase的表数据操作，涵盖创建表、添加数据、查询和删除等操作，并展示了过滤器的使用方法。

摘要由CSDN通过智能技术生成

文章目录

6、HBase的集群环境搭建

注意事项：Hbase强依赖于HDFS以及zookeeper，所以安装Hbase之前一定要保证Hadoop和zookeeper正常启动

第一步：下载对应的HBase的安装包
下载Hbase的安装包，下载地址如下：
http://archive.apache.org/dist/hbase/2.0.0/hbase-2.0.0-bin.tar.gz
第二步：压缩包上传并解压
将我们的压缩包上传到node01服务器的/export/softwares路径下并解压
cd /export/softwares/
tar -zxf hbase-2.0.0-bin.tar.gz -C /export/servers/
第三步：修改配置文件
- node01机器进行修改配置文件
  cd /export/servers/hbase-2.0.0/conf
  修改第一个配置文件hbase-env.sh
  node01机器进行修改配置文件
  注释掉HBase使用内部zk
  cd /export/servers/hbase-2.0.0/conf
  vim hbase-env.sh
  export JAVA_HOME=/export/servers/jdk1.8.0_141
  export HBASE_MANAGES_ZK=false
- 修改第二个配置文件hbase-site.xml
  node01机器进行修改配置文件
  修改hbase-site.xml
  cd /export/servers/hbase-2.0.0/conf
  vim hbase-site.xml

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://node01:8020/hbase</value>  
        </property>

        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>

   <!-- 0.98后的新变动，之前版本没有.port,默认端口为60000 -->
        <property>
                <name>hbase.master.port</name>
                <value>16000</value>
        </property>

        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>node01:2181,node02:2181,node03:2181</value>
        </property>

        <property>
                <name>hbase.zookeeper.property.dataDir</name>
         <value>/export/servers/zookeeper-3.4.9/zkdatas</value>
        </property>
</configuration>

修改第三个配置文件regionservers
node01机器进行修改配置文件
cd /export/servers/hbase-2.0.0/conf
vim regionservers

node01
node02
node03

创建back-masters配置文件，实现HMaster的高可用
node01机器进行修改配置文件

cd /export/servers/hbase-2.0.0/conf
vim backup-masters

node02

第四步：安装包分发到其他机器
将我们node01服务器的hbase的安装包拷贝到其他机器上面去
cd /export/servers/
scp -r hbase-2.0.0/ node02: $P W D s c p - r h b a s e - 2.0.0 / n o d e 03 :$ PWD
第五步：三台机器创建软连接
因为hbase需要读取hadoop的core-site.xml以及hdfs-site.xml当中的配置文件信息，所以我们三台机器都要执行以下命令创建软连接

ln -s /export/servers/hadoop-2.7.5/etc/hadoop/core-site.xml /export/servers/hbase-2.0.0/conf/core-site.xml
ln -s /export/servers/hadoop-2.7.5/etc/hadoop/hdfs-site.xml /export/servers/hbase-2.0.0/conf/hdfs-site.xml

第六步：三台机器添加HBASE_HOME的环境变量
三台机器执行以下命令，添加HBASE_HOME环境变量
vim /etc/profile

export HBASE_HOME=/export/servers/hbase-2.0.0
export PATH=:$HBASE_HOME/bin:$PATH

第七步：HBase集群启动
第一台机器执行以下命令进行启动
cd /export/servers/hbase-2.0.0

bin/start-hbase.sh

警告提示：HBase启动的时候会产生一个警告，这是因为jdk7与jdk8的问题导致的，如果linux服务器安装jdk8就会产生这样的一个警告

我们可以只是掉所有机器的hbase-env.sh当中的
“HBASE_MASTER_OPTS”和“HBASE_REGIONSERVER_OPTS”配置来解决这个问题。不过警告不影响我们正常运行，可以不用解决

另外一种启动方式：
我们也可以执行以下命令单节点进行启动
启动HMaster命令

bin/hbase-daemon.sh start master

启动HRegionServer命令

bin/hbase-daemon.sh start regionserver

第八步：页面访问
浏览器页面访问
http://node01:16010/master-status
HBASE的表模型基本介绍

7、HBase常用shell操作

1、进入HBase客户端命令操作界面

node01服务器执行以下命令进入hbase的shell客户端
cd /export/servers/hbase-2.0.0

bin/hbase shell

2、查看帮助命令

hbase(main):001:0> help

3、查看当前数据库中有哪些表

hbase(main):002:0> list

4、创建一张表

创建user表，包含info、data两个列族

hbase(main):010:0> create 'user', 'info', 'data'

或者

hbase(main):010:0> create 'user', {
   NAME => 'info', VERSIONS => '3'}，{
   NAME => 'data'}

5、添加数据操作

向user表中插入信息，row key为rk0001，列族info中添加name列标示符，值为zhangsan

hbase(main):011:0> put 'user', 'rk0001', 'info:name', 'zhangsan'

向user表中插入信息，row key为rk0001，列族info中添加gender列标示符，值为female

hbase(main):012:0> put 'user', 'rk0001', 'info:gender', 'female'

向user表中插入信息，row key为rk0001，列族info中添加age列标示符，值为20

hbase(main):013:0> put 'user', 'rk0001', 'info:age', 20

向user表中插入信息，row key为rk0001，列族data中添加pic列标示符，值为picture

hbase(main):014:0> put 'user', 'rk0001', 'data:pic', 'picture'
#全表扫描
scan 'user'

6、查询数据操作

1、通过rowkey进行查询

获取user表中row key为rk0001的所有信息

hbase(main):015:0> get 'user', 'rk0001'

2、查看rowkey下面的某个列族的信息

获取user表中row key为rk0001，info列族的所有信息

hbase(main):016:0> get 'user', 'rk0001', 'info'

3、查看rowkey指定列族指定字段的值

获取user表中row key为rk0001，info列族的name、age列标示符的信息

hbase(main):017:0> get 'user', 'rk0001', 'info:name', 'info:age'

4、查看rowkey指定多个列族的信息

获取user表中row key为rk0001，info、data列族的信息

hbase(main):018:0> get 'user', 'rk0001', 'info', 'data'

或者你也可以这样写

hbase(main):019:0> get 'user', 'rk0001', {
   COLUMN => ['info', 'data']}

或者你也可以这样写，也行

hbase(main):020:0> get 'user', 'rk0001', {
   COLUMN => ['info:name', 'data:pic']}

4、指定rowkey与列值查询

获取user表中row key为rk0001，cell的值为zhangsan的信息

hbase(main):030:0> get 'user', 'rk0001', {
   FILTER => "ValueFilter(=, 'binary:zhangsan')"}

5、指定rowkey与列值模糊查询

获取user表中row key为rk0001，列标示符中含有a的信息

hbase(main):031:0> get 'user', 'rk0001', {
   FILTER => "(QualifierFilter(=,'substring:a'))"}

继续插入一批数据

hbase(main):032:0> put 'user', 'rk0002', 'info:name', 'fanbingbing'
hbase(main):033:0> put 'user', 'rk0002', 'info:gender', 'female'
hbase(main):034:0> put 'user', 'rk0002', 'info:nationality', '中国'
hbase(main):035:0> get 'user', 'rk0002', {
   FILTER => "ValueFilter(=, 'binary:中国')"}

6、查询所有数据

查询user表中的所有信息

scan 'user'

7、列族查询

查询user表中列族为info的信息

scan 'user', {
   COLUMNS => 'info'}
scan 'user', {
   COLUMNS => 'info', RAW => true, VERSIONS => 5}
scan 'user', {
   COLUMNS => 'info', RAW => true, VERSIONS => 3}

8、多列族查询

查询user表中列族为info和data的信息

scan 'user', {
   COLUMNS => ['info', 'data']}
scan 'user', {
   COLUMNS => ['info:name', 'data:pic']}

9、指定列族与某个列名查询

查询user表中列族为info、列标示符为name的信息

scan 'user', {
   COLUMNS => 'info:name'}

10、指定列族与列名以及限定版本查询

查询user表中列族为info、列标示符为name的信息,并且版本最新的5个

scan 'user', {
   COLUMNS => 'info:name', VERSIONS => 5}

11、指定多个列族与按照数据值模糊查询

查询user表中列族为info和data且列标示符中含有a字符的信息

scan 'user', {
   COLUMNS => ['info', 'data'], FILTER => "(QualifierFilter(=,'substring:a'))"}

12、rowkey的范围值查询

查询user表中列族为info，rk范围是[rk0001, rk0003)的数据

scan 'user', {
   COLUMNS => 'info', STARTROW => 'rk0001', ENDROW => 'rk0003'}

13、指定rowkey模糊查询

查询user表中row key以rk字符开头的

scan 'user',{
   FILTER=>"PrefixFilter('rk')"}

14、指定数据范围值查询

查询user表中指定范围的数据

scan 'user', {
   TIMERANGE => [1392368783980, 1392380169184]}

7、更新数据操作

1、更新数据值

更新操作同插入操作一模一样，只不过有数据就更新，没数据就添加

2、更新版本号

将user表的f1列族版本号改为5

hbase(main):050:0> alter 'user', NAME => 'info', VERSIONS => 5

8、删除数据以及删除表操作

1、指定rowkey以及列名进行删除

删除user表row key为rk0001，列标示符为info:name的数据

hbase(main):045:0> delete 'user', 'rk0001', 'info:name'

2、指定rowkey，列名以及字段值进行删除

删除user表row key为rk0001，列标示符为info:name，timestamp为1392383705316的数据

delete 'user', 'rk0001', 'info:name', 1392383705316

3、删除一个列族

删除一个列族：

alter 'user', NAME => 'info', METHOD => 'delete' 
#或
 alter 'user', 'delete' => 'info'

4、清空表数据

hbase(main):017:0> truncate 'user'

5、删除表

首先需要先让该表为disable状态，使用命令：

hbase(main):049:0> disable 'user'

然后才能drop这个表，使用命令：

hbase(main):050:0> drop 'user'

(注意：如果直接drop表，会报错：Drop the named table. Table must first be disabled)

9、统计一张表有多少行数据

hbase(main):053:0> count 'user'

8、HBase的高级shell管理命令

1、status

例如：显示服务器状态

hbase(main):058:0> status 'node01'

2、whoami

显示HBase当前用户，例如：

hbase> whoami

3、list

显示当前所有的表

4、count

统计指定表的记录数，例如：

hbase> count 'user'

5、describe

展示表结构信息

6、exists

检查表是否存在，适用于表量特别多的情况

7、is_enabled、is_disabled

检查表是否启用或禁用

8、alter

该命令可以改变表和列族的模式，例如：
为当前表增加列族：

hbase> alter 'user', NAME => 'CF2', VERSIONS => 2

为当前表删除列族：

hbase(main):002:0>  alter 'user', 'delete' => 'CF2'#注意必须要大写

9、disable/enable

禁用一张表/启用一张表

10、drop

删除一张表，记得在删除表之前必须先禁用

11、truncate

禁用表-删除表-创建表

9、HBase的java代码开发

熟练掌握通过使用java代码实现HBase数据库当中的数据增删改查的操作，特别是各种查询，熟练运用

第一步：创建maven工程，导入jar包

    <dependencies>
       <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client -->
<dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId