一、 Hadoop-lzo 编译
- hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译
- LZO（Lempel-Ziv-Oberhumer）算法是一种最快速的无损数据压缩解压算法
1. 编译环境准备
- maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）
- gcc-c++
- zlib-devel
- autoconf
- automake
- libto
本文介绍了如何在电商数仓项目中编译Hadoop-lzo组件。首先，详细列出了编译所需的环境，包括maven、gcc-c++等，并强调了对已编译过hadoop源码环境的复用。接着，讲述了下载并编译lzo源码包的过程。然后，下载hadoop-lzo源码，修改pom.xml以匹配hadoop版本，并设置临时环境变量。在编译过程中遇到了HADOOP_LZO_LIBRARY找不到的问题，通过修改源码成功解决。最后，指出编译成功后的hadoop-lzo-0.4.21-SNAPSHOT.jar文件位置。
订阅专栏 解锁全文
157
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
