MapReduce

 MapReduce就是“任务的分解与结果的汇总”。即使用户不懂分布式计算框架的内部运行机制，但是只要能用Map和Reduce思想描述清楚要处理的问题，就能轻松地在Hadoop集群上实现分布式计算功能

Map阶段（映射阶段）

输入键值对⟹ \Longrightarrow⟹输出键值对

 Reduce阶段（归并阶段）

MapReduce编程实例——词频统计实现

启动hadoop服务

准备数据文件

在虚拟机上创建文本文件

创建wordcount目录，在里面创建words.txt文件

上传文件到HDFS指定目录

创建/wordcount/input目录，执行命令：hdfs dfs -mkdir -p /wordcount/input

 将文本文件words.txt，上传到HDFS的/wordcount/input目录

 在Hadoop WebUI界面上查看上传的文件

创建Maven项目（在idea上创建）

创建Maven项目 - MRWordCount

 在pom.xml文件里添加hadoop和junit依赖

创建日志属性文件

在resources目录里创建log4j.properties文件

log4j.rootLogger=INFO, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/wordcount.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建词频统计映射器类

• 创建net.hw.mr包，在包里创建WordCountMapper类

  package net.hw.mr;
  
  import org.apache.hadoop.io.LongWritable;
  import org.apache.hadoop.io.Text;
  import org.apache.hadoop.mapreduce.Mapper;
  
  import java.io.IOException;
  
  /**
   * 功能：词频统计映射器类
   * 作者：cl
   * 日期：2022年12月14日
   */
  public class WordCountMapper extends Mapper<LongWritable, Text, LongWritable, Text> {
      @Override
      protected void map(LongWritable key, Text value, Context context)
              throws IOException, InterruptedException {
          // 直接将键值对数据传到下一个阶段
          context.write(key, value);
      }
  }
  
  

   创建词频统计驱动器类

  在net.hw.mr包里创建WordCountDriver类

• 

  package net.hw.mr;
  
  import org.apache.hadoop.conf.Configuration;
  import org.apache.hadoop.fs.FSDataInputStream;
  import org.apache.hadoop.fs.FileStatus;
  import org.apache.hadoop.fs.FileSystem;
  import org.apache.hadoop.fs.Path;
  import org.apache.hadoop.io.IOUtils;
  import org.apache.hadoop.io.LongWritable;
  import org.apache.hadoop.io.Text;
  import org.apache.hadoop.mapreduce.Job;
  import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  
  import java.net.URI;
  
  /**
   * 功能：词频统计驱动器类
   * 作者：cl
   * 日期：2022年12月147日
   */
  public class WordCountDriver {
      public static void main(String[] args) throws Exception {
          // 创建配置对象
          Configuration conf = new Configuration();
          // 设置数据节点主机名属性
          conf.set("dfs.client.use.datanode.hostname", "true");
  
          // 获取作业实例
          Job job = Job.getInstance(conf);
          // 设置作业启动类
          job.setJarByClass(WordCountDriver.class);
  
          // 设置Mapper类
          job.setMapperClass(WordCountMapper.class);
          // 设置map任务输出键类型
          job.setMapOutputKeyClass(LongWritable.class);
          // 设置map任务输出值类型
          job.setMapOutputValueClass(Text.class);
  
          // 定义uri字符串
          String uri = "hdfs://master:9000";
          // 创建输入目录
          Path inputPath = new Path(uri + "/wordcount/input");
          // 创建输出目录
          Path outputPath = new Path(uri + "/wordcount/output");
  
          // 获取文件系统
          FileSystem fs =  FileSystem.get(new URI(uri), conf);
          // 删除输出目录（第二个参数设置是否递归）
          fs.delete(outputPath, true);
  
          // 给作业添加输入目录（允许多个）
          FileInputFormat.addInputPath(job, inputPath);
          // 给作业设置输出目录（只能一个）
          FileOutputFormat.setOutputPath(job, outputPath);
  
          // 等待作业完成
          job.waitForCompletion(true);
  
          // 输出统计结果
          System.out.println("======统计结果======");
          FileStatus[] fileStatuses = fs.listStatus(outputPath);
          for (int i = 1; i < fileStatuses.length; i++) {
              // 输出结果文件路径
              System.out.println(fileStatuses[i].getPath());
              // 获取文件系统数据字节输入流
              FSDataInputStream in = fs.open(fileStatuses[i].getPath());
              // 将结果文件显示在控制台
              IOUtils.copyBytes(in, System.out, 4096, false);
          }
      }
  }
  

  注意导包问题：不要导成org.apache.hadoop.mapred包下的FileInputFormat与FileOutputFormat

  运行词频统计驱动器类，查看结果，运行报错，提示：Did not find winutils.exe

  解决办法：下载对应版本的winutils.exe和hadoop.dll，放在hadoop安装目录的bin子目录里

  https://github.com/cdarlint/winutils/blob/master/hadoop-3.2.2/bin/winutils.exe

  https://github.com/cdarlint/winutils/blob/master/hadoop-3.2.2/bin/hadoop.dll
  

   

   

   

   重启IDEA，打开MRWordCount项目，运行WordCountDriver类

   利用Hadoop WebUI界面查看结果文件

   修改词频统计映射器类：WordCoutMapper的输出的是单词和个数，输出键类型为Text，输出值类型为IntWritable。将每行按空格拆分成单词数组，输出<单词, 1>的键值对

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    @Override
    protected void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        // 获取行内容
        String line = value.toString();
        // 按空格拆分得到单词数组
        String[] words = line.split(" ");
        // 遍历单词数组，生成输出键值对
        for (int i = 0; i < words.length; i++) {
            context.write(new Text(words[i]), new IntWritable(1));
        }
    }
}

修改词频统计驱动器类

修改map任务输出键值类型

 启动词频统计驱动器类，查看结果

观察输出结果，map阶段会按键排序输出