hadoop上命令行查看lzo、gz、bz文件

hadoop上命令行查看lzo、gz、bz文件

 发表于 2019-03-25 |  分类于 hadoop |  |  游览 5469

hadoop上命令行查看lzo、gz、bz文件

HDFS上的文件可能是压缩的，所以用cat不能直接查看。hadoop上默认支持lzo、gz、bz2、snappy压缩格式。

我们用命令行查看HDFS上压缩文件，也是可以的。

lzo文件

• 查看 HDFS 上 lzo 文件的命令

1 2 3 4 5

hadoop fs -cat /Data/Logs/2018-08-22/2018-08-22_log.lzo | lzop -dc | head -1 或 hadoop fs -cat /Data/Logs/2018-08-22/2018-08-22_log.lzo | lzop -dc | head -1 lzop 会接受输入流然后解压输出流给head显示第一行

gzip 文件

• 查看 HDFS 上 gzip 文件的命令

1 2 3 4 5

hadoop fs -cat /shining/temp.txt.gz | gzip -d 或 hadoop fs -cat /shining/temp.txt.gz | zcat

bz2 文件

• 查看 HDFS 上 bz2 文件的命令

1	hadoop fs -cat /temp/b.bz2 | bzip2 -d

text 命令

Hadoop text 命令可以查看HDFS上的文本、压缩文件

1 2 3 4 5 6 7

hadoop fs -text /temp/b.bz2 hadoop fs -text /temp/test_hive.txt.gz hadoop fs -text /temp/l.lzo hadoop fs -text /tmp/out1/part-r-00000