MapReduce — 数据分类输出和小文件合并

MapReduce 典型编程场景 2

目录
1、自定义 OutputFormat--数据分类输出 ........................................................................... 1
    1.1、需求.................................................................................................................................. 1
    1.2、分析.................................................................................................................................. 1
    1.3、实现.................................................................................................................................. 1
2、自定义 InputFormat--小文件合并 ................................................................................... 5
    2.1、需求.................................................................................................................................. 5
    2.2、分析.................................................................................................................................. 5
    2.3、实现.................................................................................................................................. 5

1 、自定义 OutputFormat-- 数据分类输出

1.1 、需求

现有一些原始日志需要做增强解析处理，流程：

    1、 从原始日志文件中读取数据

    2、 根据业务获取业务数据库的数据

    3、 根据某个连接条件获取相应的连接结果

典型业务场景如：爬虫 URL 管理，移动号码管理    

1.2 、分析

        程序的关键点是要在一个 MapReduce 程序中根据数据的不同输出两类结果到不同目录，这类灵活的输出需求可以通过自定义 OutputFormat 来实现

1.3 、实现

实现要点：

    1、 在 MapReduce 中访问外部资源

    2、 自定义 OutputFormat，改写其中的 RecordWriter，改写具体输出数据的方法 write()

    以 Score.txt 的 32 条学生考试记录为例，现要求把参考次数>=7 的输出到一个文件/output/out1，然后剩下的不合格的参考输出到另外一个文件/output/out2

实现：

第一步，实现自己的 OutputFormat：

package aaa;

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.RecordWriter;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class LongOutputFormat extends FileOutputFormat<Text, NullWritable> {
	@Override
	public RecordWriter<Text, NullWritable> getRecor