hadoop 压缩-snappy

下载安装Apache hadoop-1.2.1(bin.tar.gz文件)搭建集群后，在运行wordcount 时报警告 WARN snappy.LoadSnappy: Snappy native library not loaded。

我们想要给Hadoop集群增加snappy压缩支持。很多发行版的hadoop已经内置了snappy/lzo压缩，比如cloudera CDH, Hortonworks HDP. 但是Apache发行版安装包大多不带压缩支持。(Apache hadoop-.1.21 RPM版本Hadoop (hadoop-1.2.1-1.x86_64.rpm
)已经有snappy支持，但其hadoop-1.2.1-bin.tar.gz 并无压缩支持)

1. snappy安装

1. 给OS安装 g++:

centos：
yum -y update gcc
yum -y install gcc+ gcc-c++
 
ubuntu：
apt-get update gcc
apt-get install g++

2. 下载snappy 源码 ， http://code.google.com/p/snappy/downloads/list  (可以看到 snappy-1.1.1.tar.gz） 下载后解压(默认目录为 snappy-1.1.1 )

到解压后的目录依次执行：

1） ./configure

2） make