mapreduce实例代码详解（一行一行的注释）

NullWritable:NullWritable是Writable的一个特殊类，实现方法是空方法，只充当占位符，在一些地方会用到，但是本实例中没有使用

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

以上五个jar包是写mapreduce程序必带的，每次写程序之前都要导入。

public class word{

public static class MyMapper extends Mapper<LongWritable,Text,Text,IntWritable>{

定义map类，这里是固定格式public static class 类名 extends Mapper<>{

Mapper后面的括号中跟的是数据类型，也就是我们在导入jar包阶段提到的。前两个数据类型是读取数据时的格式，

通常情况下是<每行行首的偏移量，每一行的内容>，也就是<LongWritable,Text>

后两个数据类型输出的格式，也就是map阶段得到的键值对<key,value>的对应的数据类型。

这里我打算在文件中，每一行只输入一个单词，这样map阶段输出的键值对就类似<love,1>

至于为什么会输出这样的结果，往下看代码

protected void map(LongWritable key,Text value,Context context) throws IOException,InterruptedException{

这里基本也是固定格式

//protected void map(数据类型 key,数据类型 value,Context context) throws IOException,InterruptedException{

key和value前面的数据类型，就是上一句代码Mapper后面<>里面的前两个数据类型

上面这两句话就相当于一个大体的map类框架，现在要想实现mapreduce程序目标就要开始往里面填充内容了

String line = value.toString();

定义line为value的String对象值

value其实之前我说的，文件里每一行有一个单词，此时value里面装的就是读取到的单词，将其转换为String类型，然后放到line里面

context.write(new Text(line),new IntWritable(1));

格式为context.write(a,b);

输出以a为key,b为value的数据，这是Mapper输出的结果

这句话就解释了为什么Mapper阶段输出的结果是<love,1>形式，line装的是love的String类型，

因为我们一开始设置的输出类型（Mapper的后两个）是Text，IntWritable，

所以这里要把line套上一个New Text()转换为Text数据类型，那个数字1同理，套上一个New IntWritable（）

}

}

public static class MyReduce extends Reducer<Text,IntWritable,Text,IntWritable>{

现在是在定义一个Reduce类，Reducer后面跟的数据类型，前两个就是Mapper输出的数据类型，与其保持一致。

后两个是Reduce端要输出的数据类型。

protected void reduce(Text key,Iterable values,Context context) throws IOException,InterruptedException{

key前面的数据格式就是从Mapper端接收到的数据格式

Iterable是遍历，排序的意思，要注意这里是values而不是value，

至于为什么要加个s，mapreduce的工作原理一类的文章中应该会提到

int sum=0;

对词汇进行统计，sum就是针对一个单词的次数设置的变量，这个单词出现多少次，sum的值就有多少

reduce是按key来从map任务那里领取数据的，我们之前是把一个单词作为一个key，

一把钥匙开一把锁，所以一个reduce端里面只会有一个单词，不用担心sum把其他单词的次数也算进去

for(IntWritable i : values){

sum+=i.get();

}

for循环，举个例子

for(String s:args)是String定义一个变量s，然后从数组args[]中，每循环一次取出一个值赋给s。

这里是每次循环，从values中取出一个值放入i，然后sum每次加上i里面的值。

context.write(key,new IntWritable(sum));

与Mapper端同理，输出结果，这里的结果就是最终结果，也就是mapreduce程序处理后结果形式。

}

}

public static void main(String[] args) throws InterruptedException,IOException,ClassNotFoundException{ //main方法

Configuration conf=new Configuration();

Job job=Job.getInstance(conf,“top”);

job.setJobName(“top”);

job.setJarByClass(word.class);

//上面四句话是设置类信息，方便hadoop从jar文件中找到

job.setMapperClass(MyMapper.class);

job.setReducerClass(MyReduce.class);

//设置执行Map与Reduce的类，也就是你之前设置的类名

job.setMapOutputKeyClass(Text.class);

job.setMapOutputValueClass(IntWritable.class);

//设置Map端输出的数据类型，这两句话也可以不写

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(IntWritable.class);

//设置输出数据类型，这两句话必须写

FileInputFormat.addInputPath(job, new Path(args[0]));

FileOutputFormat.setOutputPath(job,new Path(args[1]));

//添加输入输出路径
先自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以扫码领取！

总结

这个月马上就又要过去了，还在找工作的小伙伴要做好准备了，小编整理了大厂java程序员面试涉及到的绝大部分面试题及答案，希望能帮助到大家

mg" style=“zoom: 33%;” />

总结

这个月马上就又要过去了，还在找工作的小伙伴要做好准备了，小编整理了大厂java程序员面试涉及到的绝大部分面试题及答案，希望能帮助到大家

[外链图片转存中…(img-jlecBXOH-1711399851380)]

[外链图片转存中…(img-WWEYgVnB-1711399851381)]

需要更多Java资料的小伙伴可以帮忙点赞+关注，点击传送门，即可免费领取！