Hadoop 作业链条化实现

最新推荐文章于 2021-11-13 17:02:16 发布

FresherHe

最新推荐文章于 2021-11-13 17:02:16 发布

阅读量244

点赞数

分类专栏： Hadoop 文章标签： Hadoop 链条化

本文链接：https://blog.csdn.net/FresherHe/article/details/87858439

版权

本文介绍了如何在Hadoop环境中实现作业的链条化处理，包括WCApp类作为应用程序入口，WCMapMapper1和WCMapMapper2两个映射阶段，以及WCReducer和WCReduceMapper1组成的归约步骤。

摘要由CSDN通过智能技术生成

作业链条化编程
[MAP+ / REDUCE MAP*]

实现功能：
    单词统计

 需求：
    1、过滤敏感词汇
    2、过滤单词出现小于5的词汇

 链条结构：
    MapMapper1（映射） + MapMapper2（过滤敏感词汇） + Reducer(聚合) + ReduceMapper1(过滤小于5的词汇)

WCApp.class

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.chain.ChainMapper;
import org.apache.hadoop.mapreduce.lib.chain.ChainReducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

/*