利用pig导出hbase文件为txt或者csv格式

利用pig导出hbase文件为txt或者csv格式

 

如下例子，将hbase的表test导出文件为txt格式：

[root@datacsu2 lilip]# vi loadData.pig

source = LOAD 'hbase://test' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(

'info:CPUCpuUtil

 info:MemoryUsage' ,

 '-loadKey true ') AS (

 col1:chararray,col2:chararray,col3:chararray);

STORE source INTO '/hilod/result_file' USING PigStorage(',');

 

//其中info：* 为hbase表test中你想导出的列，'-loadKey true ' 代表保存rowkwy。

//注意后面包含了3个col（列名+rowkey）。

//接下来执行运行该脚本的命令：

[root@datacsu2 lilip]# cat pig.sh

pig -x tez /data1/lilip/loadData.pig

 

// 最后你将在hdfs:// hilod/result_file 下找到该导出文件。若文件太大，会将其分为几个子文件，可以执行hdfs命令将子文件合并，如：

#su hdfs

#hadoop fs –getmerge / hilod/result_file /tmp/result.txt

//注意：合并后的文件是本地文件。

 

转载于:https://www.cnblogs.com/llphhl/p/7007302.html