Hadoop压缩算法snappy

http://blog.sina.com.cn/s/blog_48a45b9501015mkb.html

Snappy的前身是Zippy。虽然只是一个数据压缩库，它却被Google用于许多内部项目程，其中就包括BigTable，MapReduce和RPC。Google宣称它在这个库本身及其算法做了数据处理速度上的优化，作为代价，并没有考虑输出大小以及和其他类似工具的兼容性问题。Snappy已经被Google开源，作为一个压缩库，它可以利用单颗Intel Corei7处理器内核处理至少每秒250MB~500MB的数据流。Google极力赞扬Snappy的各种优点，Snappy从一开始就被“设计为即便遇到损坏或者恶意的输入文件都不会崩溃”，而且被Google在生产环境中用于压缩PB级的数据。其健壮性和稳定程度可见一斑。

下载：http://code.google.com/p/snappy/downloads/list

配置：

        设置LD_LIBRARY_PATH环境变量或者java.library.path属性

        hadoop native library: $HADOOP_HOME/lib/native/Linux-amd64-64/

测试：

String codecClassname = "org.apache.hadoop.io.compress.SnappyCodec";
Class codecClass = Class.forName(codecClassname);
Configuration conf = new Configuration();
CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(codecClass, conf);
String fileinName = args[0];
String fileoutName = fileinName + codec.getDefaultExtension();
FileOutputStream fileout = new FileOutputStream(fileoutName);
CompressionOutputStream out = codec.createOutputStream(fileout);
FileInputStream filein = new FileInputStream(fileinName);
IOUtils.copyBytes(filein,out,4096,false);
out.finish();
out.close();
filein.close();

INFO util.NativeCodeLoader: Loaded the native-hadoop library native hadoop loaded.
WARN snappy.LoadSnappy: Snappy native library is available
INFO snappy.LoadSnappy: Snappy native library loaded