csv导入HBase
0 前置
example.csv文件
echo '999999941017403,1471848231000,120.6817399807754,27.95172926917687,0,0' >example.csv
问题
用hadoop jar /opt/apps/hbase-1.1.1/lib/hbase-server-1.1.1.jar importtsv -Dimporttsv.separator=, -Dimporttsv.columns="HBASE_ROW_KEY,cf1:f1,cf1:c2,cf2:c1" test /example.csv命令从csv文件导数据到HBase中时,会将数字(long/double)当做字符串转化成字节数组存储到HBase,这样导致java程序读long/double会解析异常(Bytes.toDouble(cell.getValue()))。
尝试了Phoenix,过程中也会出现一些问题,比如phoenix会自动写一个_0的列到HBase中,而且使用hadoop jar /opt/apps/phoenix-4.7.0-HBase-1.1-bin/phoenix-4.7.0-HBase-1.1-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool时默认表名都是大写,目前还没找到解决方案。
下面使用了Hive来导数据,经过测试是可行的。
1.创建Hive表
CREATE TABLE example(key bigint, c1 bigint,c2 double,c3 double,c4 bigint,c5 bigint) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'