Linux中编译hadoop-lzo使hadoop能够支持lzo（maven编译）

前言

hadoop本身是不支持lzo压缩格式的，所以在对类库进行查询时，里面是不会显示lzo是否支持，如何让hadoop能够支持lzo压缩呢？下面我们开始正题！

查询环境

命令 输入

hadoop checknative

笔者使用的hadoop版本为2.7.2，所以要使用lzo压缩组件必须对组件里的hadoop版本进行修改编译。这里就利用maven来对其进行改造。同理很多版本问题，可以利用此方法来解决。

环境准备

• maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）
• gcc-c++
• zlib-devel
• autoconf
• automake
• libtool
• 通过yum安装即可，yum -y install gcc-c++ lzo-devel zlib-devel autoconf
  automake libtool

注意 maven的配置文件需要将中央仓库修改为阿里云的仓库！不要问我为什么！

下载、安装并编译LZO

下载

wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

解压

tar -zxvf lzo-2.10.tar.gz

进入到 lzo 目录里

cd lzo-2.10

设置前缀

./configure -prefix=/usr/local/hadoop/lzo/

安装

make

make install

编译hadoop-lzo源码

• 下载hadoop-lzo的源码，下载地址：https://github.com/twitter/hadoop-lzo/archive/master.zip
• 解压之后࿰