详解 HBase 的安装部署及命令行操作

一、下载安装

• 进入 HBase 下载地址：https://archive.apache.org/dist/hbase/

• 下载对应版本的 HBase 安装包并上传到虚拟机，并确保安装了 jdk 环境

• 将 HBase 安装包解压

  #在 /opt/software 目录下解压安装包
  tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module
  # 改名
  cd /opt/module
  mv hbase-1.3.1-bin.tar.gz hbase
  

• 修改配置文件

  • 修改 hbase-env.sh

    cd /opt/module/hbase/conf
    vim hbase-env.sh
    
    # 修改 Java 环境变量
    export JAVA_HOME=/opt/module/jdk
    #注释掉 jdk1.7 的警告信息
    # 排除内置zk
    export HBASE_MANAGES_ZK=false
    

  • 修改 hbase-site.xml (默认的 hbase-default.xml)

    cd /opt/module/hbase/conf
    vim hbase-site.xml
    

    <configuration>
        <property>
            <name>hbase.rootdir</name>
            <value>hdfs://hadoop102:9000/HBase</value>
        </property>
        <property>
            <name>hbase.cluster.distributed</name>
            <value>true</value>
        </property>
        <!-- 0.98 后的新变动，之前版本没有.port,默认端口为 60000,web端口 16010 -->
        <property>
            <name>hbase.master.port</name>
            <value>16000</value>
        </property>
        <property> 
            <name>hbase.zookeeper.quorum</name>
            <value>hadoop102,hadoop103,hadoop104</value> 
        </property>
        <property> 
            <name>hbase.zookeeper.property.dataDir</name>
            <value>/opt/module/zookeeper-3.4.10/zkData</value>
        </property>
    </configuration>
    

  • 修改 regionservers

    cd /opt/module/hbase/conf
    vim regionservers
    
    #添加
    hadoop102
    hadoop103
    hadoop104
    

• 软连接 hadoop 配置文件到 HBase

  ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml /opt/module/hbase/conf/coresite.xml
  
  ln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml /opt/module/hbase/conf/hdfssite.xml
  

• 分发 hbase 安装目录到集群其他节点

二、HBase 集群启动停止

• 启动 Zookeeper 集群

• 启动 Hadoop 集群

• 启动 HBase 集群

  • 方式一：单节点启动停止

    #hadoop102
    cd /opt/module
    hbase/bin/hbase-daemon.sh start/stop master
    hbase/bin/hbase-daemon.sh start/stop regionserver
    
    #hadoop103 和 104
    cd /opt/module
    hbase/bin/hbase-daemon.sh start/stop regionserver
    
    #提示:如果集群之间的节点时间不同步，会导致regionserver无法启动，抛出ClockOutOfSyncException 异常
    

    • 时间不同步修复：

      • Linux 同步时间服务

      • 在 hbase-site.xml 中将 hbase.master.maxclockskew 属性设置更大的值(不建议)

        <property>
            <name>hbase.master.maxclockskew</name>
            <value>180000</value>
            <description>Time difference of regionserver from 	
                master</description>
        </property>
        

  • 方式二：群起群停

    #在哪个节点执行则该节点就是 master
    cd /opt/module
    hbase/bin/start-hbase.sh
    hbase/bin/stop-hbase.sh
    

• 查看 HBase：http://hadoop102:16010

三、HBase 的命令行操作

1. 基本操作

# 进入 HBase 客户端命令行
cd /opt/module/hbase
bin/hbase shell

# 查看帮助命令
hbase(main):001:0> help

2. 命名空间的操作

# 查看所有命名空间
list_namespace

# 创建命名空间：create_namespace 'nsname'
create_namespace 'bigdata'

# 删除命名空间：drop_namespace 'nsname'
# 删除命名空间之前需要清空命名空间所有表
drop_namespace 'bigdata'

3. 表的操作

# 查看所有表
list

# 创建表：create 'nsname:tbname','colFamily1'[,'colFamily2'...]
# 省略 nsname 则默认在 default 命名空间下
create 'bigdata:student','info'

# 查看表结构：describe 'tbname'
describe 'student'

# 变更表信息：alter 'tbname',{KEY=>VALUE,...}
# 设置info列族中的数据存放3个版本：
alter 'student',{NAME=>'info',VERSIONS=>3}

# 删除表：drop 'tbname'
# 删除表之前需要禁用表：disable 'tbname'
disable 'student'
drop 'student'

# 插入数据到表：put 'tbname','row_key','colFamily:col','value'[,ts,{...}]
put 'student','1001','info:sex','male'
put 'student','1001','info:age','18'
put 'student','1002','info:name','Janna'
put 'student','1002','info:sex','female'
put 'student','1002','info:age','20'

# 扫描查看表数据：scan 'tbname'[,...]
scan 'student'
scan 'student',{STARTROW => '1001', STOPROW => '1001'}
scan 'student',{STARTROW => '1001'}
scan 'student',{RAW => true, VERSIONS => 10} #查看所有版本的数据

# 查看“指定行”或“指定列族:列”的数据：get 'tbname','row_key'[,'cf:col1',{...}]
get 'student','1001'
get 'student','1001','info:name'
get 'student','1001',{COLUMN=>'info:name',VERSIONS=>3} #获取列存储的所有版本数据


# 修改指定字段的数据：put 'tbname','row_key','cf:col','newValue'
put 'student','1001','info:name','Nick'
put 'student','1001','info:age','100'

# 删除数据：
# 删除某 rowkey 的全部数据：deleteall 'tbname','row_key'
deleteall 'student','1001' # 标记为 deleteFamily

# 删除某 rowkey 的某一列数据：delete 'tbname','row_key','cf:col'[,ts]
delete 'student','1002','info:sex' # 标记为 deleteColumn
delete 'student','1002','info' # 执行不报错，但没效果(使用API方式则可以)

# 统计表数据行数：count 'tbname'
count 'student'

# 清空表数据：truncate ’tbname'
# 提示：清空表的操作顺序为先 disable，然后再 truncate
truncate 'student'