本文介绍了如何在HDFS中查看使用LZO压缩的文件大小和预览内容，通过`hadoop fs -cat`结合`lzop dc`命令，并使用`head`限制输出行数。在不加重定向或`-f`参数时，`lzop`会因未写入终端而报错，以避免大量解压数据导致的问题。对比了`lzop`与`gzip`、`zcat`的行为差异，并提供了完整输出到终端的解决方案。
我们的HDFS中有一部分落地数据是用LZO格式来压缩的(另一部分采用gz压缩的RCFile，MapReduce中间结果采用snappy压缩)。第一是因为它的压缩比和压缩/解压速度综合下来比较令人满意，第二是它只需要少量effort就能支持可切分（生成LZO文件后跑单机或分布式建索引程序），这样能充分利用MapReduce分而治之的编程思想和数据本地性。
之前要查看已经put到HDFS的LZO文件，都是先get到本地，再用lzop命令解压出来查看，但是有时候我们只是想预览下lzo文件的几行信息，前面一种方式就比较麻烦了，替代方案可以使用如下
最低0.47元/天 解锁文章
1031
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
