在实际的操作中涉及到将批量的数据插入到HBase中,这样的话如果直接一条一条的通过put来进行插入,就显得尤其吃力了,在这里记录下自己所用到的方法,因为网上的资源很多都是千篇一律,然后需要配合自己的来弄,记录下对自己比较有用,以及在使用的过程中需要注意的地方。
创建了一个测试的csv文件,命名为test.csv,数据长这样子
首先将本地的csv文件上传到HDFS上去,这里采用命令的方式进行操作
hadoop fs -put /root/hadoop/hbasetest/test.csv /root/hadoop/input/test.csv
然后将上传到HDFS上的文件导入到HBase中,首先在HBase中建一个表用来存放这个文件的数据,
建表语句如下:
create 'test','baseinfo'
这里创建一个表名为test ,然后列簇名为baseinfo。
表创建好后可以采用describe tablename的命令进行查看,可以用count tablename的命令查看行数 。
下面就是使用命令来进行操作,这里借用了mapreduce的包来进行导入。
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separato