importtsv工具使用笔记

step 1 :上传
bin/hdfs dfs -put test_datas/user.tsv  /user/cyhp/importtsv


示例格式的文件：/user/cyhp/importtsv/user.tsv
1000001,name1,10,female,18317050895
1000002,name2,20,female,18317050895
1000003,name3,,male,18317050895
1000004,name4,,female,18317050895
1000005,name5,,male,18317050895
1000006,name6,60,female,18317050895


step2 ：建表
create 'tsv1','info'


step3 ：导数据
3.1 小数据量的文件
 HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` $HADOOP_HOME/bin/yarn jar $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.3.3.jar importtsv '-Dimporttsv.separator=,'  -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:age,info:sex,info:phone  tsv1 /user/cyhp/importtsv/user.tsv


3.2 大数据量的文件（这种方式不需要创建表）
第一步是将HDFS上的数据复制并转化为HFile文件
HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` $HADOOP_HOME/bin/yarn jar $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.3.3.jar importtsv '-Dimporttsv.separator=,' -Dimporttsv.bulk.output=/user/cyhp/importtsv/hfileout -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:age,info:sex,info:phone  tsv2 /user/cyhp/importtsv/user.tsv
第二步是将HFile数据移动到HBase数据目录
HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` $HADOOP_HOME/bin/yarn jar $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.3.3.jar completebulkload /user/cyhp/importtsv/hfileout tsv2


参考链接:
http://wenku.baidu.com/link?url=Gj-bxzJf3fKTAInhTpOdDIKTVY52L-abuBg9zI4iBkJzCODiCbL8jxAPSV9Kw3FN0uzyFQBr6BFLss1GWnsrMRhdRGxZkvKs5-_L136xIZS