本文用于复习《Hadoop权威指南》第四章第一部分内容
代码来自于书中,仅有少部分修改,主要是为了回忆起来方便
书中终端命令为“$ echo “Hello wyh” | hadoop StreamCompressor org.apache.hadoop.io.compress.GzipCodec | gunzip ”但实际难以实现(这点暂且怀疑),本文主要处理问题为如何实现目标,以及实现过程中出现一些问题的解决方法
- StreamCompressor一例主要是为了方便我们学习CompressionCodec的两个函数,即是说用OutputStream写入一个未压缩的数据,然后用CompressionOutputStream进行压缩输出。
反之则有CompressionInputStream解压缩。
package com.alice.wang;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.CompressionOutputStream;
import org.apache.hadoop.util.ReflectionUtils;
public class StreamCompressor {
public