Map的输出进行LZO压缩

1、先到这里下载 http://www.oberhumer.com/opensource/lzo/ lzo的最新发布版

2、配置 ./configure –enable-shared –prefix /usr/local/lzo-2.08

3、安装 make && sudo make install 

4、按照传统所有的liblzo*往/usr/lib下拷一份

接下来编译 hadoop-lzo ，先要从 https://github.com/twitter/hadoop-lzo/archive/master.zip  这下下来zip包，解压。然后

1、设置这个环境变量

C_INCLUDE_PATH=/usr/local/lzo-2.08/include

LIBRARY_PATH=/usr/local/lzo-2.08/lib

2、运行 mvn clean package  -Dmaven.test.failure.ignore=true

3. 把hadoop-lzo-0.4.20-SNAPSHOT.jar  copy到 $HADOOP_HOME/lib

core-site.xml

<property>       

      <name>io.compression.codecs</name>                          <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.BZip2Codec</value>  

  </property>  

  <property>       

    <name>io.compression.codec.lzo.class</name>       

    <value>com.hadoop.compression.lzo.LzoCodec</value>    

  </property> 

</configuration>

mapred-site.xml

 <property>

        <name>mapred.compress.map.output</name>

        <value>true</value>

  </property>

  <property>       

      <name>mapred.map.output.compression.codec</name>        

      <value>com.hadoop.compression.lzo.LzoCodec</value>     

  </property>  

一下是转载：

1.需要使用root安装liblzo动态链接库 #root scp hostname:/lib64/liblzo2.so.2.0.0  /lib64 cd /lib64/ ln -s liblzo2.so.2.0.0 liblzo2.so ln -s liblzo2.so.2.0.0 liblzo2.so.2 复制代码 --检查下是否拷贝进去了 ls -l /lib64|grep lzo|wc -l 3 复制代码 2.安装gpl jar包和本地库 su - 指定用户下 --jar cp  ./hadoop-gpl-compression-0.1.0-dev.jar  $HADOOP_HOME/lib -- local library cp   ./Linux-amd64-64.tar   $HADOOP_HOME/lib/native cp  ./Linux-i386-32.tar   $HADOOP_HOME/lib/native cd $HADOOP_HOME/lib/native tar -xf Linux-amd64-64.tar tar -xf Linux-i386-32.tar ls -l Linux-amd64-64|wc -l ls -l Linux-i386-32|wc -l 复制代码 3.修改两个配置文件 cd $HADOOP_CONF_DIR 修改hadoop配置文件 $HADOOP_CONF_DIR/core-site.xml <property>    <name>io.compression.codecs</name>    <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,org.apache.hadoop.io.compress.BZip2Codec</value>  </property>  <property>    <name>io.compression.codec.lzo.class</name>    <value>com.hadoop.compression.lzo.LzoCodec</value>  </property> 复制代码 修改hadoop配置文件 $HADOOP_CONF_DIR/mapred-site.xml (包含慢启动)   <property>     <name>mapred.reduce.slowstart.completed.maps</name>     <value>0.3</value>   </property>   <property>      <name>mapred.compress.map.output</name>      <value>true</value>    </property>    <property>      <name>mapred.map.output.compression.codec</name>      <value>com.hadoop.compression.lzo.LzoCodec</value>    </property>   复制代码