JDK8+MAVEN3.6.3+HADOOP3.2.2，wordcount实践

一、所需工具

JDK8

maven3.6.3

Hadoop3.2.2

IntelliJ IDEA 2022.3.3

下载链接：https://pan.baidu.com/s/1x5-hLZXUP6oawGy4h693eQ?pwd=mona 
提取码：mona 
 

二、安装JDK

（一）温馨提示，不安装在C盘，且目录千万别有空格，否则后面会报错，无法在Windows中调用hadoop命令。

（二）下载JDK8

我的版本为jdk-8u152-windows-x64，可根据自身需要到官网下载合适的版本

（三）安装JDK

1.在D盘创建Java目录，并在Java目录中分别创建子目录jdk和jre

2.安装

点击jdk-8u152-windows-x64.exe，右键以管理员身份运行，点击“下一步”后，更改安装目录到D:\Java\jdk后下一步。

等到jre安装提示出来后，更改安装目录到D:\Java\jre后下一步。

安装完成后点击关闭。

（四）配置环境变量

1.点击“我的电脑”，右键，点击“属性”，选择“高级系统设置”，选择“环境变量”。

2.在系统变量的栏位中选择“新建”

3.添加JAVA_HOME，值为JDK的安装目录

4.将JAVA_HOME添加到Path中

选中系统变量栏位中的“Path”，点击“编辑”，点击新建后输入“%JAVA_HOME%\bin”，并将此条值上移。上移是为了保证系统会优先匹配我们的安装的JDK。

5.验证环境变量是否成功配置。Win+R，输入cmd，进入dos界面。依次输入java -version，java.exe和javac.exe，能成功显示相关内容，即证明JDK安装成功。

二、安装MAVEN

（一）下载Maven，我的版本为3.6.3

（二）安装。Maven属于绿色版软件，解压即安装。将其解压到D:\Program Files\apache-maven-3.6.3

（三）配置环境变量。与配置JDK类似，在环境变量中添加MAVEN_HOME，并将bin目录添加到Path中

（四）验证是否安装成功。Win+R，输入cmd，进入dos界面。输mvn，能成功显示相关内容，即证明Maven安装成功。

（五）本地仓库配置

1.在D盘创建本地仓库地址D:\maven\repository

2.将默认的仓库地址改成D:\maven\repository。到D:\Program Files\apache-maven-3.6.3\conf中，找到settings.xml，用编辑器打开编辑，大概54行位置，添加 <localRepository>D:\maven\repository</localRepository>。如果不改，默认位置会在C盘的C:\Users\T480s\.m2\repository下，随着项目增多，C盘会爆。

（六）镜像仓库配置

到D:\Program Files\apache-maven-3.6.3\conf中，找到settings.xml，用编辑器打开，到160行位置编辑。配置镜像主要是为了提高国内用户下载依赖的速度和稳定性，同时方便管理和维护。

添加以下内容：

<mirror>

<!-- 次镜像的唯一标识符，用来区分不同的mirror元素 -->

<id>nexus-aliyun</id>

<!--对哪种仓库进行镜像，简单说就是替代哪个仓库 -->

<mirrorOf>central</mirrorOf>

<!-- 镜像名称-->

<name>Nexus aliyun</name>

<!-- 镜像URL -->

<url>http://maven.aliyun.com/nexus/content/groups/public</url>

</mirror>

三、本地安装Hadoop

（一）下载Hadoop，我的版本为3.2.2

（二）解压至D:\hadoop-3.2.2

（三）在bin目录中添加hadoop.dll和winutils.exe。温馨提示，这两个文件一定要和Hadoop的版本匹配，如果不是3.2.2的版本，后面用的时候会报错。

（四）在C:\Windows\System32中也添加hadoop.dll

（五）配置环境变量。与配置JDK类似，在环境变量中添加HADOOP_HOME，并将bin目录添加到Path中

（六）配置hadoop-env.cmd

1.到D:\hadoop-3.2.2\etc\hadoop下找到hadoop-env.cmd

2.修改JAVA_HOME=D:\Java\jdk

（七）验证是否安装成功。Win+R，输入cmd，进入dos界面。输hadoop version，能成功显示相关内容，即证明Hadoop安装成功。

四、安装IDEA

（一）下载安装包，我的是2022.3.3

（二）安装IDEA到D:\Program Files\JetBrains\IntelliJ IDEA 2022.3.3，可下载激活工具激活。不要安装在C盘就行

五、wordcount体验

（一）打开IDEA

（二）新建maven项目

1.点击File——New——project

2.创建项目名为wordcount.mr，项目存放到D:\workspace（可根据自身情况确定目录），语言选择Java，构建系统选择Maven

3.选择我们自己的JDK版本

4.选择本地Maven

（三）编辑项目

1.编辑pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0