ImportTsv的使用
ImportTsv 是一个将 TSV 格式的数据加载到 HBase 的工具类。它有两种不同的用法:1.通过 Puts 将 HDFS 中的 TSV 格式的数据加载到 HBase 中;2.通过生成StoreFile的方式使用completebulkload将数据加载到HBase中。
通过 Puts 将 HDFS 中的 TSV 格式的数据加载到 HBase 中
$ bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv '-Dimporttsv.separator=|' -Dimporttsv.columns=a,b,c <tablename> <hdfs-inputdir>
- ‘-Dimporttsv.separator=|’ 指定列之间的分隔符
- -Dimporttsv.columns 指定列族
- tablename 指定hbase表名
- hdfs-inputdir 指定数据文件在hdfs上的存放路径
通过生成StoreFile的方式使用completebulkload将数据加载到HBase中
1.生成StoreFile
$ bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv '-Dimporttsv.separator=|' -Dimporttsv.columns=a,b,c -Dimporttsv.bulk.output=hdfs://storefile-outputdir <tablename> <hdfs-data-inputdir>
- ‘-Dimporttsv.separator=|’ 指定列之间的分隔符
- -Dimporttsv.columns 指定列族
- -Dimporttsv.bulk.output=hdfs://storefile-outputdir 指定StoreFile的生成路径
- tablename 指定hbase表名
- hdfs-data-inputdir 指定数据文件在hdfs上的存放路径
2.将生成的StoreFile通过completebulkload加载到hbase中
HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` ${HADOOP_HOME}/bin/hadoop jar ${HBASE_HOME}/hbase-mapreduce-VERSION.jar completebulkload <hdfs://storefileoutput> <tablename>
- hbase-mapreduce-VERSION.jar hbase对应version的jar包
- hdfs://storefileoutput 生成StoreFile在hdfs上的路径
- tablename hbase表名
注意:这里有第二种将StoreFile加载到hbase表中的方法
$ bin/hbase org.apache.hadoop.hbase.tool.LoadIncrementalHFiles <hdfs://storefileoutput> <tablename>
- hdfs://storefileoutput 生成StoreFile在hdfs上的路径
- tablename hbase表名