hbase操作以及维护

转载 2013年12月03日 15:19:29

一,基本命令:

    建表:create 'table','t1','t2'
     也可以建表时加coulmn的属性如:create 'table',{NAME => 't1', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS => '10', COMPRESSION => 'LZO', TTL => '30000', IN_MEMORY => 'false', BLOCKCACHE => 'false'}, {NAME => 'coulmn', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS => '30', COMPRESSION => 'LZO', TTL => '30000', IN_MEMORY => 'true'}  (其中的属性有versions:设置历史版本数,TTL:过期时间,COMPRESSION:压缩方式,当配置lzo的情况)
    删除表:drop 'table'   (删除表之前先要禁用表,命令disable 'table')
    启用和禁用表: enable 'table' 和disable 'table'
    其它的基本命令:describe 'table'(查看表结构),alert 修改表结构,list 列出所有表。
二,日常维护的命令
    1,major_compact 'table',通常生产环境会关闭自动major_compact(配置文件中hbase.hregion.majorcompaction设 为0),选择一个晚上用户少的时间窗口手工major_compact,如果hbase更新不是太频繁,可以一个星期对所有表做一次 major_compact,这个可以在做完一次major_compact后,观看所有的storefile数量,如果storefile数量增加到 major_compact后的storefile的近二倍时,可以对所有表做一次major_compact,时间比较长,操作尽量避免高锋期。
    2,flush 'table',将所有memstore刷新到hdfs,通常如果发现regionserver的内存使用过大,造成该机的 regionserver很多线程block,可以执行一下flush操作,这个操作会造成hbase的storefile数量剧增,应尽量避免这个操 作,还有一种情况,在hbase进行迁移的时候,如果选择拷贝文件方式,可以先停写入,然后flush所有表,拷贝文件。
    3,balance_switch true或者balance_switch flase,配置master是否执行平衡各个regionserver的region数量,当我们需要维护或者重启一个regionserver时,会 关闭balancer,这样就使得region在regionserver上的分布不均,这个时候需要手工的开启balance。
三,重启一个regionserver
    bin/graceful_stop.sh --restart --reload --debug nodename
    这个操作是平滑的重启regionserver进程,对服务不会有影响,他会先将需要重启的regionserver上面的所有 region迁移到其它的服务器,然后重启,最后又会将之前的region迁移回来,但我们修改一个配置时,可以用这种方式重启每一台机子,这个命令会关 闭balancer,所以最后我们要在hbase shell里面执行一下balance_switch true,对于hbase regionserver重启,不要直接kill进程,这样会造成在zookeeper.session.timeout这个时间长的中断,也不要通过 bin/hbase-daemon.sh stop regionserver去重启,如果运气不太好,-ROOT-或者.META.表在上面的话,所有的请求会全部失败。
四,关闭下线一台regionserver
    bin/graceful_stop.sh --stop  nodename
    和上面一样,系统会在关闭之前迁移所有region,然后stop进程,同样最后我们要手工balance_switch true,开启master的region均衡。
五,检查region是否正常以及修复
    bin/hbase hbck  (检查)
    bin/hbase hbck -fix  (修复)
    会返回所有的region是否正常挂载,如没有正常挂载可以使用下一条命令修复,如果还是不能修复,那需要看日志为什么失败,手工处理。
六,hbase的迁移
    1,copytable方式
    bin/hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=zookeeper1,zookeeper2,zookeeper3:/hbase 'table'
    目前0.92之前的版本的不支持多版本的复制,0.94已经支持多个版本的复制。当然这个操作需要添加hbase目录里的conf/mapred-site.xml,可以复制hadoop的过来。
    2,Export/Import
    bin/hbase org.apache.hadoop.hbase.mapreduce.Export table /user/table [versions] [starttime] [stoptime]
    bin/hbase org.apache.hadoop.hbase.mapreduce.Import table  /user/table
    跨版本的迁移,我觉得是一个不错的选择,而且copytable不支持多版本,而export支持多版本,比copytable更实用一些。
    3,直接拷贝hdfs对应的文件
    首先拷贝hdfs文件,如bin/hadoop distcp hdfs://srcnamenode:9000/hbase/table/ hdfs://distnamenode:9000/hbase/table/
    然后在目的hbase上执行bin/hbase org.jruby.Main bin/add_table.rb /hbase/table
    生成meta信息后,重启hbase

    这个操作是简单的方式,操作之前可以关闭hbase的写入,执行flush所有表(上面有介绍),再distcp拷贝,如果hadoop版本不一致,可以用hftp接口的方式,我推荐使用这种;

举报

相关文章推荐

HBase纪要

集群环境下的安装部署: 配置一个10个节点的集群。节点的名字分别是master.foo.com,host1.foo.com到host9.foo.com。 HBase master与HDFS  Na...

hbase基本操作

一,基本命令:     建表:create 'table','t1','t2'      也可以建表时加coulmn的属性如:create 'table',{NAME =&...

精选:深入理解 Docker 内部原理及网络配置

网络绝对是任何系统的核心,对于容器而言也是如此。Docker 作为目前最火的轻量级容器技术,有很多令人称道的功能,如 Docker 的镜像管理。然而,Docker的网络一直以来都比较薄弱,所以我们有必要深入了解Docker的网络知识,以满足更高的网络需求。

hbase日常维护

一,基本命令:     建表:create 'testtable','coulmn1','coulmn2'      也可以建表时加coulmn的属性...

hbase操作以及维护

一,基本命令:     建表:create 'table','t1','t2'      也可以建表时加coulmn的属性如:create 'table',{NAME =&...

hbase操作以及维护

一,基本命令:     建表:create 'table','t1','t2'      也可以建表时加coulmn的属性如:create 'table',{NAME =&...

hbase操作以及维护

转自:http://www.itinit.net/thread-1322-1-1.html 一,基本命令:     建表:create 'table','t1','t2'      也可...

hbase操作以及维护

转自:http://www.itinit.net/thread-1322-1-1.html 一,基本命令:     建表:create 'table','t1','t2'      也可...

hbase维护操作命令

1、基本命令:       建表:

OAM - 以太网操作管理维护

英文: Operation Administration and Maintenance 中文: 以太网操作管理维护 介绍: 根据运营商网络运营的实际需要,通常将网络的管理工作划分为3大类:==操...

hbase故障维护

hbase集群维护总结 1、集群故障现象以及解决方法   故障现象 解决方法 “hbase shell”命令无法显示list以及meta丢失 ...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)