MapReduce编程场景之数据分类输出

最新推荐文章于 2024-11-22 10:36:38 发布

Lv_Hulk

最新推荐文章于 2024-11-22 10:36:38 发布

阅读量704

点赞数

CC 4.0 BY-SA版权

分类专栏： MapReduce 文章标签： MapReduce编程场景之数据分类输出

本文链接：https://blog.csdn.net/lv_hulk/article/details/87563475

MapReduce编程场景之数据分类输出

（一）需求
现有一些原始日志需要做增强解析处理，流程：
1、从原始日志文件中读取数据
2、根据业务获取业务数据库的数据
3、根据某个连接条件获取相应的连接结果

（二）分析
程序的关键点是要在一个 MapReduce 程序中根据数据的不同输出两类结果到不同目录，这
类灵活的输出需求可以通过自定义 OutputFormat 来实现
（三）实现
实现要点：
1、在 MapReduce 中访问外部资源
2、自定义 OutputFormat，改写其中的 RecordWriter，改写具体输出数据的方法 write()以 Score.txt 的 32 条学生考试记录为例，现要求把参考次数>=7 的输出到一个文件/output/out1，然后剩下的不合格的参考输出到另外一个文件/output/out2

/**
*第一步，实现自己的 OutputFormat
*@author lv_hulk
*/
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.RecordWriter;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org