1.单个文件的压缩或解压
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.CompressionCodecFactory;
import org.apache.hadoop.io.compress.CompressionOutputStream;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.util.ReflectionUtils;
public class CompressionTest {
//设在本地目录下有一个名为uploadFile的文件,对本地文件进行gzip压缩
public static void StreamCompresson() throws IOException
{
Configuration conf = new Configuration();
//注意此处得到压缩器的方法,CompressionCodec是一个封装了压缩器的接口.
//下面的语句根据第一个参数产生相应的压缩器
CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(GzipCodec.class, conf);
FileOutputStream outFile = new FileOutputStream("uploadFile.gz"); //用于将数据写入该流指向的文件中
FileInputStream in = new FileInputStream("uploadFile"); //该文件会被写压缩输出流,即被压缩。
//要压缩的话,如下对一个写入输出流的数据进行压缩
CompressionOutputStream out = codec.createOutputStream(outFile);
IOUtils.copyBytes(in, out, 4096, true);
}
//
public static void FileDecompressor() throws IOException
{
Configuration conf = new Configuration();
FileSystem local = FileSystem.getLocal(conf);
Path input = new Path("uploadFile.gz");
//获取所拥有的所有压缩器——工厂
CompressionCodecFactory factory = new CompressionCodecFactory(conf);
//根据后缀得到相应的压缩器
CompressionCodec codec = factory.getCodec(input);
//移除文件名的后缀
String outputUri =CompressionCodecFactory.removeSuffix("uploadFile.gz", codec.getDefaultExtension());
InputStream in = null;
OutputStream out = null;
//从压缩输入流中读取内容放入文件输出流
in = codec.createInputStream(local.open(input));
out = local.create(new Path(outputUri));
IOUtils.copyBytes(in, out, conf, true);
}
public static void main(String [] args) throws IOException
{
StreamCompresson();
FileDecompressor();
}
}
另外,注意gzip 为压缩命令,gunzip为解压命令,具体使用可以用man查看。
对HDFS上的压缩文件(也包括序列文件),要是用hadoop -text来查看内容。
2.MapReduce上的压缩和解压
对于MapReduce 上的输入文件,TextInputFormat会自动识别是否是压缩文件,并进行解压,所以可以与普通文件进行完全相同的 处理。
对与输出文件,如果要进行压缩,需要对run()函数中的配置变量Configuration conf进行如下设置:
conf.setBoolean("mapred.output.compress", true); //启用输出文件压缩
conf.setClass("mapred.output.compression.codec", GzipCodec.class, CompreissionCodec.class); //选择压缩器