hbase ImportTsv的使用

ImportTsv的使用

ImportTsv 是一个将 TSV 格式的数据加载到 HBase 的工具类。它有两种不同的用法：1.通过 Puts 将 HDFS 中的 TSV 格式的数据加载到 HBase 中；2.通过生成StoreFile的方式使用completebulkload将数据加载到HBase中。

通过 Puts 将 HDFS 中的 TSV 格式的数据加载到 HBase 中

$ bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv '-Dimporttsv.separator=|' -Dimporttsv.columns=a,b,c <tablename> <hdfs-inputdir>

• ‘-Dimporttsv.separator=|’ 指定列之间的分隔符
• -Dimporttsv.columns 指定列族
• tablename 指定hbase表名
• hdfs-inputdir 指定数据文件在hdfs上的存放路径

通过生成StoreFile的方式使用completebulkload将数据加载到HBase中

1.生成StoreFile

$ bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv '-Dimporttsv.separator=|' -Dimporttsv.columns=a,b,c -Dimporttsv.bulk.output=hdfs://storefile-outputdir <tablename> <hdfs-data-inputdir>

• ‘-Dimporttsv.separator=|’ 指定列之间的分隔符
• -Dimporttsv.columns 指定列族
• -Dimporttsv.bulk.output=hdfs://storefile-outputdir 指定StoreFile的生成路径
• tablename 指定hbase表名
• hdfs-data-inputdir 指定数据文件在hdfs上的存放路径

2.将生成的StoreFile通过completebulkload加载到hbase中

HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` ${HADOOP_HOME}/bin/hadoop jar ${HBASE_HOME}/hbase-mapreduce-VERSION.jar completebulkload <hdfs://storefileoutput> <tablename>

• hbase-mapreduce-VERSION.jar hbase对应version的jar包
• hdfs://storefileoutput 生成StoreFile在hdfs上的路径
• tablename hbase表名

注意：这里有第二种将StoreFile加载到hbase表中的方法

$ bin/hbase org.apache.hadoop.hbase.tool.LoadIncrementalHFiles <hdfs://storefileoutput> <tablename>

• hdfs://storefileoutput 生成StoreFile在hdfs上的路径
• tablename hbase表名