大数据MapReduce学习案例：数据去重

一，案例分析

（一）数据去重介绍

数据去重主要是为了掌握利用并行化思想来对数据进行有意义的筛选，数据去重指去除重复数据的操作。在大数据开发中，统计大数据集上的多种数据指标，这些复杂的任务数据都会涉及数据去重。

（二）案例需求

文件file1.txt本身包含重复数据，并且与file2.txt同样出现重复数据，现要求使用Hadoop大数据相关技术对以上两个文件进行去重操作，并最终将结果汇总到一个文件中。

编写MapReduce程序，在Map阶段采用Hadoop默认作业输入方式后，将key设置为需要去重的数据，而输出的value可以任意设置为空。

在Reduce阶段，不需要考虑每一个key有多少个value，可以直接将输入的key复制为输出的key，而输出的value可以任意设置为空，这样就会使用MapReduce默认机制对key（也就是文件中的每行内容）自动去重。

二，案例实施

（一）准备数据文件

（1）启动hadoop服务

启动hadoop服务，输入命令：start-all.sh

（2）在虚拟机上创建文本文件

1.在/opt/mrtxt目录下创建两个文本文件 - file4.txt、file5.txt

2.输入命令：vi /export/mrtxt/file4.txt，向file4添加如下内容：

2022-12-1 a
2022-12-2 b
2022-12-3 c
2022-12-4 d
2022-12-5 a
2022-12-6 b
2022-12-7 c
2022-12-3 c

3.输入命令：vi /export/mrtxt/file5.txt，向file5添加如下内容：

2022-12-1 b
2022-12-2 a
2022-12-3 b
2022-12-4 d
2022-12-5 a
2022-12-6 c
2022-12-7 d
2022-12-3 c

（3）上传文件到HDFS指定目录

1.创建/dedup/input目录，执行命令：hdfs dfs -mkdir -p /dedup/input

2.将两个文本文件 file4.txt与file5.txt，上传到HDFS的/dedup/input目录

（二）Map阶段实现

使用IntelliJ开发工具创建Maven项目Deduplicate，并且新创建net.army.mr包，在该路径下编写自定义Mapper类DeduplicateMapper，主要用于读取数据集文件将TextInputFormat默认组件解析的类似<0，2022-11-1 a >键值对修改为<2022-11-1 a，null>。

（1）创建Maven项目：Deduplicate

1.配置好如下图所示，然后单击【Create】按钮

2.成功创建界面

3.删除Main类，右击【Main】类，单击【Delete】

（2）添加相关依赖

1.在pom.xml文件里添加hadoop和junit依赖，添加内容如下：

<dependencies>                                  
    <!--hadoop客户端-->                            
    <dependency>                                
        <groupId>org.apache.hadoop</groupId>    
        <artifactId>hadoop-client</artifactId>  
        <version>3.3.4</version>                
    </dependency>                               
    <!--单元测试框架-->                               
    <dependency>                                
        <groupId>junit</groupId>                
        <artifactId>junit</artifactId>          
        <version>4.13.2</version>               
    </dependency>                               
</dependencies>                                 

2.刷新maven，将依赖下载到本地仓库

（3）创建日志属性文件

1.在resources目录里创建log4j.properties文件，右击【resources】，选择【New】，单击【Resource Bundle】

2.在弹出的对话框中输入：log4j，单击【OK】按钮

3.向log4j.properties文件添加如下内容：

log4j.rootLogger=INFO, stdout, logfile
log4j.appender.stdout=org.apache.log4j