这是一个关于Hadoop文件压缩和解压缩的测试程序，通过使用GzipCodec进行操作。程序首先创建一个压缩输出流写入数据，然后关闭输出流，将数据存入text文件。接着，从text文件中读取输入流进行解压缩，并输出结果。过程中出现了警告信息，但未详细说明具体原因。
hadoop文件压缩和解压缩的一个简单测试程序：
package org.myorg;
import java.io.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.CompressionOutputStream;
import org.apache.hadoop.util.ReflectionUtils;
public class StreamCompressor {
public static void main(String[] args) throws Exception{
String codecClassname = args[0];
Class<?> codecClass = Class.forName(codecClassname);
Configuration conf = new Configuration();
CompressionCodec codec = (CompressionCodec)ReflectionUtils.newInstance(codecClass, conf);
//把str里到数据压缩后放到text文件里
CompressionOutputStream out = codec.createOutputStream(new FileOutputStream(new File("text")));
String str = "try compress and decompress";
byte[] bytes = new byte[1024];
bytes = str.getBytes();
// IOUtils.copyBytes(new ByteArrayInpu
最低0.47元/天 解锁文章
扫一扫
1931
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
