案例需求:统计一个文件(存储的都是单词)200m,查询每个单词出现的次数,(a-i开头的放在一个文件)<j-z开头的放在另外一个文件> datanode200m; datanode默认128m;因此数据分成两快;
1.map阶段;调用MapTask任务:
第一个datanode数据块:
读数据;按行处理;切分;HashMap<单词,value+1>;
处理完成后按照首字母范围分为两个hashmap
第二个datanode数据块:
读数据,按行处理;切分;HashMap<单词,value+1>;
处理完成后按照首字母范围分为两个hashmap
2.reduce阶段 ReduceTask任务
把两个分布式处理的返回结果进行统计,汇总成一个,然后输出结果
mapreduce提高文件处理效率:并发处理,互不干扰
package mapreduce01;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
/* 驱动类
* 建立客户端*/
public class WordCountDriver {
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
//1.获取job信息--实例化任务
Configuration conf=new Configuration();
Job job =Job.getInstance();
//2.获取jar包--放入jar包存储的位置,没有的话,直接指定主程序
job.setJarByClass(WordCountDriver.class);
//3.获取自定义的map/reduce类
job.setMapperClass(MapperDemo.class);
job.setReducerClass(ReduceDemo.class);
//4.设置map输出的数据类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
//5.设置reduce输出的数据类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
//6.设置输入存在的路径与输出路径
FileInputFormat.setInputPaths(job, new Path("f://hadoop数据/in"));
FileOutputFormat.setOutputPath(job, new Path("f://hadoop数据/out"));
//7.提交任务
boolean res=job.waitForCompletion(true);
System.out.println("输出结果:..."+res);
}
}
package mapreduce01;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
/*
* 单词计数
* <单词,1>
* Mapper<KeyIn,valuein,keyout,valueout>
* keyin:数据的起始偏移量:0—10;11-20;21-30;
* valuein:数据
* keyout:map输出到reduce阶段的k值
* valueout:map输出到reduce阶段的v值
* */
public class MapperDemo extends Mapper<LongWritable,Text,Text,IntWritable>{
//实现未实现的方法 key 起始偏移量 value 数据 context 上下文
@Override
protected void map(LongWritable key, Text value,Context context)
throws IOException, InterruptedException {
//1.读取数据
String line = value.toString();
//2.切割
String[] words=line.split(" ");
//3.循环的写到下一个阶段<hashmap>
for(String word:words) {
context.write(new Text(word), new IntWritable(1));
}
}
}
reduce里面的迭代循环:意思是说相同的key提交一次任务????
package mapreduce01;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
/*
*聚合,相同的单词,value值加1
* */
public class ReduceDemo extends Reducer<Text, IntWritable, Text, IntWritable>{
@Override
protected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {
//1.统计单词出现的次数?如何把相同单词辨识出来?
int sum=0;
//2.累加求和
for(IntWritable count:values) {
sum+=count.get();
}
//3.输出
context.write(key,new IntWritable(sum));
}
}