hbase导入csv文件_csv导入HBase-阿里云开发者社区

csv导入HBase

0 前置

example.csv文件

echo '999999941017403,1471848231000,120.6817399807754,27.95172926917687,0,0' >example.csv

问题

用hadoop jar /opt/apps/hbase-1.1.1/lib/hbase-server-1.1.1.jar importtsv -Dimporttsv.separator=, -Dimporttsv.columns="HBASE_ROW_KEY,cf1:f1,cf1:c2,cf2:c1" test /example.csv命令从csv文件导数据到HBase中时，会将数字(long/double)当做字符串转化成字节数组存储到HBase，这样导致java程序读long/double会解析异常(Bytes.toDouble(cell.getValue()))。

尝试了Phoenix，过程中也会出现一些问题，比如phoenix会自动写一个_0的列到HBase中，而且使用hadoop jar /opt/apps/phoenix-4.7.0-HBase-1.1-bin/phoenix-4.7.0-HBase-1.1-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool时默认表名都是大写，目前还没找到解决方案。

下面使用了Hive来导数据，经过测试是可行的。

1.创建Hive表

CREATE TABLE example(key bigint, c1 bigint,c2 double,c3 double,c4 bigint,c5 bigint) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'