Hadoop开发之JavaAPI操作HDFS

一、maven的安装与配置

1.maven的下载

maven的下载地址

点击下载到本地即可

2.maven的安装与配置

（1）解压

解压到没有中文的路径下，例如我的路径是：D:\hadoop\maven中

（2）创建本地仓库文件夹

在maven文件夹下创建一个名为repo的文件夹，作为本地仓库文件夹

（3）修改settings.xml配置文件

在D:\hadoop\maven\apache-maven-3.6.1\conf下用记事本打开settings.xml文件

• 在图中所示的标签内输入上一步创建的repo文件夹的路径
  
• 由于maven默认下载依赖的镜像为国外链接，下载速度相对较慢，因此最好将下载镜像修改为国内依赖仓库，通过查找找到mirrors标签，将如下内容粘贴到mirrors标签内，这三个分别是阿里云、网易云、腾讯云的公共仓库。

<mirror>
  <id>aliyunmaven</id>
  <mirrorOf>*</mirrorOf>
  <name>阿里云公共仓库</name>
  <url>https://maven.aliyun.com/repository/public</url>
</mirror>
<mirror>
    <id>nexus-163</id>
    <mirrorOf>*</mirrorOf>
    <name>Nexus 163</name>
    <url>http://mirrors.163.com/maven/repository/maven-public/</url>
</mirror>
<mirror>
    <id>nexus-tencentyun</id>
    <mirrorOf>*</mirrorOf>
    <name>Nexus tencentyun</name>
    <url>http://mirrors.cloud.tencent.com/nexus/repository/maven-public/</url>
</mirror> 

修改完成后保存退出。

（4）配置maven的环境变量

点击此电脑—属性—高级系统设置—环境变量

• 新建一个名为MAVEN_HOME的系统变量，变量值为maven所在的绝对路径
  
  
• 将MAVEN_HOME引用添加到环境变量path中
  
• win+R打开运行输入cmd，打开命令提示符
  输入 mvn -v
  出现如下内容，表示maven环境变量配置正确
  

（5）idea中maven的配置修改

二、用idea创建项目

1.新建项目

2.在pom.xml添加相关依赖

   <dependencies>
   <!-- Hadoop所需依赖包 -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.1.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>3.1.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.1.4</version>
        </dependency>
<!-- junit测试依赖 -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>
    </dependencies>

对应的version标签的内容要根据实际的hadoop版本进行调整

在pom文件中点击鼠标右键，选择Maven选项----》重新加载项目，点开maven菜单，会看到所需依赖已成功导入。