CDH6安装Lzo

Lzo是目前Hadoop平台使用很广泛的压缩格式，但需要另外安装，在这里记录一下。

使用的版本是Centos7.3，CDH6.0.1。

官方安装文档

官方配置文档

 

 查看Hadoop支持的压缩格式

hadoop checknative

 

LzoCodec和LzopCodec区别

两种压缩编码LzoCodec和LzopCodec区别：
    1. LzoCodec比LzopCodec更快， LzopCodec为了兼容LZOP程序添加了如 bytes signature, header等信息。
    2. LzoCodec作为Reduce输出，结果文件扩展名为 ”.lzo_deflate” ，无法被lzop读取；使用LzopCodec作为Reduce输出，生成扩展名为 ”.lzo” 的文件，可被lzop读取。
    3. LzoCodec结果（.lzo_deflate文件) 不能由 lzo index job 的 "DistributedLzoIndexer" 创建inde