Lzo压缩

安装类库

安装一些依赖的类库

yum -y install lzo-devel zlib-devel gcc autoconf automake libtool

下载、解压LZO

$ cd ~/software
$ wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz
$ tar -zxvf lzo-2.10.tar.gz -C ../source

使用wget下载一个 rpm包, 然后用 rpm -ivh xxx.rpm 安装这个软件，嫌麻烦的话，就可以直接用 yum install sqoop 来自动下载和安装依赖的rpm软件。

编译LZO包

$ cd ~/source/lzo-2.10 $./configure --enable-shared --prefix /usr/local/lzo-2.10 $ make && sudo make install

下载Hadoop-LZO

$ cd ~/software
$ wget https://github.com/twitter/hadoop-lzo/archive/master.zip
$ unzip master.zip -d ../source

修改Hadoop-LZO pom

$ cd ~/source/hadoop-lzo-master
$ vi pom.xml

添加cloudera仓库

<repositories>
    <repository>
      <id>cloudera-repo</id>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
    </repository>
    <repository>
      <id>sonatype-nexus-snapshots</id>
      <url>https://oss.sonatype.org/content/repos