完成map和reduce函数的重写后,下面将其整合起来。用来把map函数和reduce函数整合起来的组件叫做作业。即:
将1.txt的文本内容进行词频统计可以写一个Mapreduce的job。这个作业中包括map和reduce的处理。“map负责映射和分发,reduce负责聚合统计”。
map函数和reduce函数之间是串联的关系
Code:
public static void main(String[] args) throws Exception {
//设置配置文件
Configuration conf = new Configuration();
conf.set("fs.default.name", "hdfs://192.168.170.133:9000");
//定义一个job对象,创建一个工作,运行在conf集群上,工作名为“word count”
Job job = Job.getInstance(conf,"word count");
//程序入口,即从main函数所在的类进入
job.setJarByClass(MyTest.class);
job.setMapperClass(MyMapper.class);
job.setReducerClass(MyReducer.class);
//输出的key的类型
job.setOutputKeyClass(Text.class);
//输出的Value的类型
j