hadoop-lzo-0.4.20安装

本文介绍了如何安装hadoop-lzo-0.4.20,包括将jar包拷贝到hadoop的lib目录下,参考了相关技术博客。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、安装lzop:
yum -y install lzop

二、安装lzo
1、wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
2、tar -zxvf lzo-2.06.tar.gz
3、mv lzo-2.06 lzo && cd lzo
4、export CFLAGS=-m64
5、./configure -enable-shared
6、make && make install【默认安装在了/usr/local/lib下:liblzo2.a  liblzo2.la  liblzo2.so  liblzo2.so.2  liblzo2.so.2.0.0】
7、在/etc/ld.so.conf.d/目录下新建lzo.conf文件,内容:
/usr/local/lib
8、让lzo.conf生效:/sbin/ldconfig -v

三、安装hadoop-LZO
1、下载源码:https://github.com/twitter/hadoop-lzo
2、解压后是hadoop-lzo-master,进入hadoop-lzo-master目录
3、export CFLAGS=-m64
4、export CXXFLAGS=-m64
5、export C_INCLUDE_PATH=/usr/local/include/lzo
6、export LIBRARY_PATH=/usr/local/lib
7、mvn clean package -Dmaven.test.skip=true【可能在hadoop-lzo-master目录下还有一个hadoop-lzo-master目录,就会抛MissingProjectException异常,找不到源码,需要进入hadoop-lzo-master/hadoop-lzo-master目录下编译,或者去掉一层hadoop-lzo-master目录】
8、在当前目录下生成了target,下面有个native/Linux-amd64-64/lib目录,将lib目录下的文件拷贝到hadoop的lib/native目录下:tar -cBf - -C target/native//Linux-amd64-64/lib . | tar -xBvf - -C /usr/local/hadoop/lib/native

9、将target下的hadoop-lzo-xxx.jar拷贝到hadoop/lib下


参考资料:http://blog.csdn.net/wanglinzi/article/details/12318743

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值