hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译,具体编译步骤如下。
1、环境准备
maven(下载安装,配置环境变量,修改sitting.xml加阿里云镜像)
maven 安装地址:https://blog.csdn.net/weixin_46122692/article/details/109822837
gcc-c++
zlib-devel
autoconf
automake
libtool
通过yum安装即可
yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool
2、下载lzo,lzo-2.10.tar.gz
- Windows下载:
下载地址 http://www.oberhumer.com/opensource/lzo/download/
下载完再上传到Linux上 - 也可以直接在Linux上下载:
先安装 wget