hadoop上命令行查看lzo、gz、bz文件
发表于 2019-03-25 | 分类于 hadoop | | 游览 5469
hadoop上命令行查看lzo、gz、bz文件
HDFS上的文件可能是压缩的,所以用cat不能直接查看。hadoop上默认支持lzo、gz、bz2、snappy压缩格式。
我们用命令行查看HDFS上压缩文件,也是可以的。
lzo文件
- 查看 HDFS 上 lzo 文件的命令
1 2 3 4 5 | hadoop fs -cat /Data/Logs/2018-08-22/2018-08-22_log.lzo | lzop -dc | head -1 或 hadoop fs -cat /Data/Logs/2018-08-22/2018-08-22_log.lzo | lzop -dc | head -1 lzop 会接受输入流然后解压输出流给head显示第一行 |
gzip 文件
- 查看 HDFS 上 gzip 文件的命令
1 2 3 4 5 | hadoop fs -cat /shining/temp.txt.gz | gzip -d 或 hadoop fs -cat /shining/temp.txt.gz | zcat |
bz2 文件
- 查看 HDFS 上 bz2 文件的命令
1 | hadoop fs -cat /temp/b.bz2 | bzip2 -d |
text 命令
Hadoop text 命令可以查看HDFS上的文本、压缩文件
1 2 3 4 5 6 7 | hadoop fs -text /temp/b.bz2 hadoop fs -text /temp/test_hive.txt.gz hadoop fs -text /temp/l.lzo hadoop fs -text /tmp/out1/part-r-00000 |