使用MapReduce运行WordCount案例分享

最新推荐文章于 2021-12-18 15:18:46 发布

玉祥～008

最新推荐文章于 2021-12-18 15:18:46 发布

阅读量326

点赞数

本文链接：https://blog.csdn.net/haozige888/article/details/107360821

版权

本文分享了如何使用MapReduce执行WordCount案例，包括数据准备、MR编程规范、编程步骤和具体代码实现。讲解了Mapper和Reducer的核心逻辑，以及序列化协议Writable的重要性。最后提到了在YARN上运行需打包成jar并使用hadoop jar命令。

摘要由CSDN通过智能技术生成

一、准备数据
二、MR的编程规范
三、编程步骤
四、编写程序
    Mapper程序解读

一、准备数据#

注意：准备的数据的格式必须是文本，每个单词之间使用制表符分割。编码必须是utf-8无bom
在这里插入图片描述
二、MR的编程规范#

MR的编程只需要将自定义的组件和系统默认组件进行组合，组合之后运行即可！
三、编程步骤#

①Map阶段的核心处理逻辑需要编写在Mapper中
②Reduce阶段的核心处理逻辑需要编写在Reducer中
③将编写的Mapper和Reducer进行组合，组合成一个Job
④对Job进行设置，设置后运行
四、编写程序#

WCMapper.java

Copy
public class WCMapper extends Mapper<LongWritable, Text, Text, IntWritable>{

private Text out_key=new Text();
private IntWritable out_value=new IntWritable(1);//每个单词出现一次记为1

// 针对输入的每个 keyin-valuein调用一次   (0，hello	hi	hello	hi)
@Override
protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context) throws Exception {

	System.out.println("keyin:"+key+"----keyout:"+value);
	
	String[] words = v