安装lzop

Linux 安装lzop压缩工具

需要安装 lzo 和 lzop

一、lzo 安装

1. 下载lzo文件

[root@localhost ~]# wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz

2. 编译安装

[root@localhost ~]# tar xzvf lzo-2.06.tar.gz 

[root@localhost ~]# cd lzo-2.06

[root@localhost lzo-2.06]#  ./configure --enable-shared 

[root@localhost lzo-2.06]# make

[root@localhost lzo-2.06]# make install

3. 复制lib

[root@localhost ~]# cp /usr/local/lib/*lzo* /usr/lib64/

二、lzop安装

1. 下载lzop包

[root@localhost ~]# wget 'http://www.lzop.org/download/lzop-1.03.tar.gz'

2. 编译安装

[root@localhost ~]# tar xzvf lzop-1.03.tar.gz 

[root@localhost ~]# cd lzop-1.03

[root@localhost lzop-1.03]# ./configure 

[root@localhost lzop-1.03]# make

[root@localhost lzop-1.03]#make install

如果lzop提示找不到命令，尝试执行：

[root@localhost ~]#ln -s /usr/local/bin/lzop /usr/bin/lzop

三、测试

[root@localhost ~]# lzop -V

                          Lempel-Ziv-Oberhumer Packer

                           Copyright (C) 1996 - 2010

lzop v1.03         Markus Franz Xaver Johannes Oberhumer          Nov 1st 2010

lzop version: v1.03, Nov 1st 2010

lzop build date: Feb  1 2013 12:37:12

命令使用帮助：

[root@localhost ~]# lzop -h

                          Lempel-Ziv-Oberhumer Packer

                           Copyright (C) 1996 - 2010

lzop v1.03         Markus Franz Xaver Johannes Oberhumer          Nov 1st 2010

Usage: lzop [-dxlthIVL19] [-qvcfFnNPkUp] [-o file] [-S suffix] [file..]

Commands:

  -1     compress faster                   -9    compress better

  -d     decompress                        -x    extract (same as -dPp)

  -l     list compressed file              -I    display system information

  -t     test compressed file              -V    display version number

  -h     give this help                    -L    display software license

Options:

  -q     be quiet                          -v       be verbose

  -c     write on standard output          -oFILE   write output to 'FILE'

  -p     write output to current dir       -pDIR    write to path 'DIR'

  -f     force overwrite of output files

  -n     do not restore the original file name (default)

  -N     restore the original file name

  -P     restore or save the original path and file name

  -S.suf use suffix .suf on compressed files

  -U     delete input files after successful operation (like gzip and bzip2)

  file.. files to (de)compress. If none given, try standard input.

测试压缩文件：

[gateway@localhost home]$ time lzop tianqitong_20130130.log 

real    0m7.429s

user    0m5.260s

sys     0m1.100s

485M tianqitong_20130130.log.lzo

[gateway@localhost home]$ time gzip tianqitong_20130130.log

real    1m9.639s

user    1m1.615s

sys     0m0.881s

293M tianqitong_20130130.log.gz

lzop是开源的压缩算法框架。具体的介绍这里不再赘述，请去网上搜索。本文书写如何在ubuntu上安装lzop.

 所需软件：gcc、g++，Apache ant,lzop,lzo,hadoop-lzo.gcc和g++ ubuntun上已经集成的有。

 安装lzo:

  hadoop@ubuntu:~$wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz

  hadoop@ubuntu:~$ tar -zxvf lzo-2.06.tar.gz

  hadoop@ubuntu:~/lzo-2.06/$ ./configure --enable-shared 

  hadoop@ubuntu:~/lzo-2.06$ make &&sudo make install

  在32位系统机器内将安装后的库文件复制到/usr/lib目录下

  hadoop@ubuntu:~/lzo-2.06$cp /usr/local/lib/liblzo2* /usr/lib

 安装lzop:

  hadoop@ubuntu:~$sudo apt-get install lzop

 安装配置ant:

  hadoop@ubuntu:~$sudo apt-get install ant

 下载hadoop-lzo:

https://github.com/toddlipcon/hadoop-lzo

https://github.com/toddlipcon/hadoop-lzo

https://github.com/toddlipcon/hadoop-lzo

   解压压缩包，进入解压文件夹内，运行 ant package

   如果报找不到hadoop相关类的错误，修改build.xml 中

   <javah classpath=" build.classes"为<javahclasspath="/usr/hadoop−1.1.1/hadoop−core−1.1.1.jar: {build.classes}" 然后再运行。记着你自己安装的hadoop-core jar包的路劲，别粘成我的了啊！

修改hadoop配置：

  把你编译的hadoop-lzo-0.4.15.jar（在build文件夹下)拷贝到  HADOOPHOME/lib下，同时把hadoop−lzo−0.4.15/lib/native下的jar包拷贝到 HADOOP_HOME/lib/native下

 修改core-site.xml

1. <property> 

2. <name>mapred.compress.map.output</name> 

3. <value>true</value> 

4. </property> 

5. <property> 

6. <name>mapred.map.output.compression.codec</name> 

7. <value>com.hadoop.compression.lzo.LzoCodec</value> 

8. </property> 

9. <property> 

10. <name>io.compression.codecs</name> 

11. <value>org.apache.hadoop.io.compress.GzipCodec,

12. org.apache.hadoop.io.compress.DefaultCodec,

13. org.apache.hadoop.io.compress.BZip2Codec,

14. com.hadoop.compression.lzo.LzoCodec,

15. com.hadoop.compression.lzo.LzopCodec,

16. org.apache.hadoop.io.compress.SnappyCodec</value> 

17. </property> 

18. <property> 

19. <name>io.compression.codec.lzo.class</name> 

20. <value>com.hadoop.compression.lzo.LzoCodec</value> 

21. </property> 

然后重新运行hadoop,即安装成功。