单个文件的压缩或解压

转：http://www.aboutyun.com/thread-11070-1-1.html

 

 

import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; import org.apache.hadoop.io.compress.CompressionCodec; import org.apache.hadoop.io.compress.CompressionCodecFactory; import org.apache.hadoop.io.compress.CompressionOutputStream; import org.apache.hadoop.io.compress.GzipCodec; import org.apache.hadoop.util.ReflectionUtils; public class CompressionTest { //设在本地目录下有一个名为uploadFile的文件，对本地文件进行gzip压缩         public static void StreamCompresson() throws IOException         {                 Configuration conf = new Configuration();                 //注意此处得到压缩器的方法，CompressionCodec是一个封装了压缩器的接口.                 //下面的语句根据第一个参数产生相应的压缩器                 CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(GzipCodec.class, conf);                                  FileOutputStream outFile = new FileOutputStream("uploadFile.gz");        //用于将数据写入该流指向的文件中                 FileInputStream in = new FileInputStream("uploadFile");        //该文件会被写压缩输出流，即被压缩。                 //要压缩的话，如下对一个写入输出流的数据进行压缩                 CompressionOutputStream out = codec.createOutputStream(outFile);                 IOUtils.copyBytes(in, out, 4096, true);         }                  //         public static void FileDecompressor() throws IOException         {                 Configuration conf = new Configuration();                 FileSystem local = FileSystem.getLocal(conf);                 Path input = new Path("uploadFile.gz");                 //获取所拥有的所有压缩器——工厂                 CompressionCodecFactory factory = new CompressionCodecFactory(conf);                 //根据后缀得到相应的压缩器                 CompressionCodec codec = factory.getCodec(input);                 //移除文件名的后缀                 String outputUri =CompressionCodecFactory.removeSuffix("uploadFile.gz", codec.getDefaultExtension());                 InputStream in = null;                 OutputStream out = null;                 //从压缩输入流中读取内容放入文件输出流          in = codec.createInputStream(local.open(input));                 out = local.create(new Path(outputUri));                 IOUtils.copyBytes(in, out, conf, true);         }                  public static void main(String [] args) throws IOException         {                 StreamCompresson();                 FileDecompressor();         } } 复制代码 另外，注意gzip 为压缩命令,gunzip为解压命令，具体使用可以用man查看。 对HDFS上的压缩文件（也包括序列文件），要是用hadoop -text来查看内容。 2.MapReduce上的压缩和解压 对于MapReduce 上的输入文件，TextInputFormat会自动识别是否是压缩文件，并进行解压，所以可以与普通文件进行完全相同的 处理。 对与输出文件，如果要进行压缩，需要对run()函数中的配置变量Configuration conf进行如下设置： conf.setBoolean("mapred.output.compress", true);                  //启用输出文件压缩 conf.setClass("mapred.output.compression.codec", GzipCodec.class, CompreissionCodec.class);              //选择压缩器