HBase的的管理笔记

一、数据移植
1、 bulk load tool
importtsv
用法:importtsv -Dimporttsv.columns=a,b,c <tablename> <inputdir>
-Dimporttsv.skip.bad.lines=false - fail if encountering an invalid line
'-Dimporttsv.separator=|' - eg separate on pipes instead of tabs
-Dimporttsv.timestamp=currentTimeAsLong - use the specified timestamp
for the import
-Dimporttsv.mapper.class=my.Mapper - A user-defined Mapper to use
instead of org.apache.hadoop.hbase.mapreduce.TsvImporterMapper
******
hly_temp---hbase的表名称
/user/hac/input/2-1---hdfs中的csv的路径,目录下包含csv文件
*******
$HADOOP_HOME/bin/hadoop jar $HBASE_HOME/hbase-
0.92.1.jar importtsv \                      
-Dimporttsv.columns=HBASE_ROW_KEY,t:v01,t:v02,t:v03,t:v04,t:v0
5,t:v06,t:v07,t:v08,t:v09,t:v10,t:v11,t:v12,t:v13,t:v14,t:v15,t:v1
6,t:v17,t:v18,t:v19,t:v20,t:v21,t:v22,t:v23,t:v24 \
hly_temp \
/user/hac/input/2-1
高级用法:
用-Dimporttsv.bulk.output生成HFile到HBase中,后用completebulkload加载到jhbase集群中生效
$HADOOP_HOME/bin/hadoop jar $HBASE_HOME/hbase-
0.92.1.jar importtsv \
-Dimporttsv.bulk.output=/user/hac/output/2-1 \
-Dimporttsv.columns=HBASE_ROW_KEY,t:v01,t:v02,t:v03,t:v04,
t:v05,t:v06,t:v07,t:v08,t:v09,t:v10,t:v11,t:v12,t:v13,t:v14,
t:v15,t:v16,t:v17,t:v18,t:v19,t:v20,t:v21,t:v22,t:v23,t:v24 \
hly_temp \
/user/hac/input/2-1

$HADOOP_HOME/bin/hadoop jar $HBASE_HOME/hbase-
0.92.1.jar completebulkload \
/user/hac/output/2-1 \
hly_temp

2、自己编写mapreduce任务加载数据
a、输出格式为tableoutputformat,把数据插入到HBASE中
TableMapReduceUtil.initTableReducerJob(tableName, null, job);
b、在mapreduce中生成HFile,后用completebulkload加载到hbase中
   HTable table = new HTable(conf, tableName);
   job.setReducerClass(PutSortReducer.class);
Path outputDir = new Path(args[2]);
FileOutputFormat.setOutputPath
(job, outputDir);
job.setMapOutputKeyClass
(ImmutableBytesWritable.class);
job.setMapOutputValueClass(Put.class);
HFileOutputFormat.configureIncrementalLoad (job, table);
注意一点:HFile中的KV是有序的,违反这个顺序,就会报错误
                这个在bulk load的mapreduce任务时候经常出错
 
3、向hbase导入数据前,预先创建region
创建表 hly_temp2,1个为n 的cf,预先split 10个region, 
$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.util.RegionSplitter -c 10
-f n hly_temp2
 
二、管理工具
1、web界面
2、shell命令:
a、表定义
list
describe 't1'
disable 't1'
alter 't1', {NAME=>'f2' }增加一个f2的family
enable 't1'
drop 't1'
b、访问数据
put 't1','row1','f1:c1','value1'
count 't1'
scan 't1',{LIMIT>=10}
get 't1','row1'
delete 't1','row1','f1:c1'
deleteall 't1','row1'
incr 't1','row1','f1:c1',1
get_counter 't1', 'row1','f1:c1'
truncate 't1'
c、管理cluster
flush 't1'
***************flush region名称
flush 't1,,1324174482248.
e3d9b9952973964f3d8e61e191924698.'
compact 't1'
major_compact 't1'
*****************拆分region
hbase> split 'hly_temp,,1324174482248.
e3d9b9952973964f3d8e61e191924698.'
balance_switch true
balancer
 
d、rowcounter(用mapreduce计算)
hac@client1$ $HADOOP_HOME/bin/hadoop jar
$HBASE_HOME/hbase-0.92.1.jar rowcounter hly_temp
 
e、WAL split
${hbase.rootdir}/.logs/target_region_server,port,start_code -p -w -j
-p 打印,-w 'rowkey1' 只选择rowkey1的,-j JSON格式输出
 
$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.
regionserver.wal.HLog
--split hdfs://master1:8020/hbase/.logs/ip-10-160-51-22.uswest-
1.compute.internal,60020,1324601160791
 
f、HFile tool
*************
-m 显示HFile metadata信息
-r 指定某个region
 
*************
$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.io.hfile.
HFile -p -f /hbase/hly_temp/0d1604971684462a2860d43e2715558d
/n/1742023046455748097

g、hbck
$ $HBASE_HOME/bin/hbase hbck
hbase> close_region 'hly_temp,,1324196693253.9e6dd810550443bb488c8
71728d5dee0.'
$HBASE_HOME/bin/hbase hbck
$ $HBASE_HOME/bin/hbase hbck -fix
 
2、其他
查看HFile中的相关信息
 $./hbase org.apache.hadoop.hbase.io.hfile.HFile -m -f hdfs://hadoop01:9000/hbase/sunwg01/641cfd6c6074e94b9f85074cfd6b7df5/f1/ed8c507c0f3e4d58bcf269784c105e02
 
backup master的配置:
       配置backup master的方式是在hbase的conf下增加文件backup-masters,在该文件里面增加backup master的机器列表,每台    机器一条记录。
 
RegionMerge:
$ hbase org.apache.hadoop.hbase.util.Merge sunwg04 sunwg04,,1333590243046.93dc4a2b4737dc04402a7814f03fe403. sunwg04,105,1333590243046.8805a0dd2be4acf24ef71dedf4c16e13.

Rowcounter:
bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter tblName
 
HLog文件查看:
org.apache.hadoop.hbase.regionserver.wal.HLog -dump /hbase/.logs/sunwg,60020,1333581869001/sunwg%2C60020%2C1333581869001.1333581939408

HFile查看:
hbase org.apache.hadoop.hbase.io.hfile.HFile -v -p -f hdfs://sunwg:9000/hbase/sunwg01/a04d3c5665afa6b884b36e103e329f93/f1/f9a13ac196a04b649df28347d673051c 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值