hadoop-0.20.203启用LZO压缩

1.准备工作，安装ant，（编译第三步lzo编码解码时使用，现使用hadoop-lzo-package，可忽略）

 

#创建临时目录,如当前工作路径为/work
cd /work
mkdir lzo

#ant.apache.org 下载ant
cd lzo
wget http://archive.apache.org/dist/ant/binaries/apache-ant-1.8.2-bin.tar.gz
cd /usr/local
tar -zxvf /work/lzo/apache-ant-1.8.2-bin.tar.gz
#添加ant 环境变量
echo 'export ANT_HOME=/usr/local/apache-ant-1.8.2' >> /etc/profile
echo 'export PATH=$PATH:$ANT_HOME/bin' >> /etc/profile

 

2.各个节点安装LZO

 

cd /work/lzo
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
tar -xzvf lzo-2.06.tar.gz
cd lzo-2.05
./configure --enable-shared
make
make install
ll /usr/local/lib/liblzo2.*
#如果是64位系统，cp到/usr/lib64下，32则cp到/usr/lib，
#也可编辑/etc/ld.so.conf，加入/usr/local/lib/后，执行/sbin/ldconfig
cp /usr/local/lib/liblzo2.so* /usr/lib64/

 3.安装LZO编码/解码包，hadoop-0.20.203无法使用http://hadoop-gpl-compression.apache-extras.org.codespot.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz，可以用https://github.com/kevinweil/hadoop-lzo/tarball/master，附件已上传（kevinweil-hadoop-lzo-6bb1b7f.tar.gz），

注：经测试，该版本也有问题，不能build 64位的native文件！

改用http://code.google.com/p/hadoop-gpl-packing/downloads/list，版本使用0.2.8-1

wget http://hadoop-gpl-packing.googlecode.com/files/hadoop-gpl-packaging-0.2.8-1.x86_64.rpm

 

 

cd /work/lzo
tar -zxvf kevinweil-hadoop-lzo-6bb1b7f.tar.gz
cd kevinweil-hadoop-lzo-6bb1b7f
export CFLAGS=-m64
export CXXFLAGS=-m64
#hadoop-core-XXX.jar也要在classpath中
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/hadoop-core-0.20.203.0.jar
ant compile-native tar

#将本地库以及Jar包拷贝到hadoop对应的目录下，并分发到各节点上
cp build/hadoop-lzo-0.4.15.jar $HADOOP_HOME/lib

 

 

ps，安装遇到问题，此文作废，另写