MR实战：实现数据去重

一、实战概述

在本次实战中，我们致力于使用Hadoop MapReduce技术对两个包含重复数据的文本文件file1.txt和file2.txt进行去重操作，并将结果整合到一个文件中。以下是我们进行的一些优化步骤，以提高代码的效率和可维护性：

1. Hadoop服务启动： 在开始之前，确保成功启动Hadoop服务，以搭建分布式计算环境，为MapReduce任务提供必要的基础。

2. 数据准备与上传： 在虚拟机上创建了file1.txt和file2.txt两个文本文件，并将它们上传到HDFS的/dedup/input目录。这确保了数据能够被MapReduce任务访问。

3. Mapper类优化： 我们创建了自定义Mapper类DeduplicateMapper，在Map阶段将TextInputFormat默认组件解析的键值对进行优化，将需要去重的数据作为key，value设为空。这种优化提高了Mapper的效率和清晰度。

4. Reducer类优化： 自定义Reducer类DeduplicateReducer直接复制输入的key作为输出的key，利用MapReduce默认机制对key进行自动去重。这一步骤的优化关注于简化代码同时保持高效性。

5. Driver类优化： 编写了MapReduce程序运行主类DeduplicateDriver，设置了工作任务的相关参数，包括输入路径、输出路径等。这确保了MapReduce任务能够在集群上正确执行，并且提升了代码的可配置性。

6. 结果文件整合： 我们将结果输出到HDFS的/dedup/output目录，确保整合的文件能够方便地被访问和下载。

7. 执行和验证： 最后，通过运行DeduplicateDriver类，我们能够查看并下载去重后的结果文件，从而确认去重操作成功完成。这一步骤有助于验证整个MapReduce任务的准确性和完整性。

通过以上优化，我们更加高效地运用Hadoop MapReduce进行大数据处理和去重操作，深化了对分布式计算的理解和应用能力。整个实战任务展示了如何利用MapReduce处理大规模数据，以及如何通过优化提升代码的可读性和性能。

二、提出任务

• 文件file1.txt本身包含重复数据，并且与file2.txt同样出现重复数据，现要求使用Hadoop大数据相关技术对以上两个文件进行去重操作，并最终将结果汇总到一个文件中。
• 编写MapReduce程序，在Map阶段采用Hadoop默认作业输入方式后，将key设置为需要去重的数据，而输出的value可以任意设置为空。
• 在Reduce阶段，不需要考虑每一个key有多少个value，可以直接将输入的key复制为输出的key，而输出的value可以任意设置为空，这样就会使用MapReduce默认机制对key（也就是文件中的每行内容）自动去重。

三、完成任务

（一）准备数据文件

• 启动hadoop服务
  

1、在虚拟机上创建文本文件

• 创建dedup目录，在其中创建两个文本文件 - file1.txt、file2.txt
  

2、上传文件到HDFS指定目录

• 创建/dedup/input目录，执行命令：hdfs dfs -mkdir -p /dedup/input
  

• 将两个文本文件 file1.txt与file2.txt，上传到HDFS的/dedup/input目录
  

（二）实现步骤

1、Map阶段实现

使用IntelliJ开发工具创建Maven项目Deduplicate，并且新创建net.linlong包，在该路径下编写自定义Mapper类DeduplicateMapper，主要用于读取数据集文件将TextInputFormat默认组件解析的类似<0，2022-11-1 a >键值对修改为<2022-11-1 a，null>。

（1）创建Maven项目

• 打开IDEA，创建Maven项目 - Deduplicate
  
• 单击【Create】按钮，得到初始化项目
  

（2）添加相关依赖

• 在pom.xml文件里添加hadoop和junit依赖
  

<dependencies>                                  
    <!--hadoop客户端-->                            
    <dependency>                                
        <groupId>org.apache.hadoop</groupId>    
        <artifactId>hadoop-client