河南大学软件学院大数据基础实验报告2–在本机用JAVA编程实现HDFS的相关环境配置

本文链接：https://blog.csdn.net/g1178467532/article/details/137757096

hdfs dfs-help
hdfs dfs -put
hdfs dfs -cat
hdfs dfs -get
hdfs dfs -mv
hdfs dfs -ls
hadoop dfsadmin -help
hdfs dfs -appendToFile 。
hdfs dfs -rmr
hdfs dfs -touchz
hdfs dfs -mkdir
hdfs dfs -moveFromLocal
hdfs dfs -chgrp
hdfs dfs -chmod
hdfs dfs -chown
定位hdfs命令的帮助文档位置（抓图）
定位配置Hadoop集群的配置项帮助文档位置（抓图）
Java编程实现HDFS下创建目录
Java编程实现HDFS下显示目录列表
Java编程实现HDFS下删除目录
Java编程实现向HDFS上传文件

在做实验实验报告2时前边的HDFS命令都很顺利，但是在进行JAVA编程实现HDFS的操作时我傻眼了，刚开始我以为要在虚拟机linux中实现，后来发现显然不行，要在windows中实现，可是在我把代码写到IDEA中我发现一堆报错，貌似是缺少依赖项，要进行Maven配置，可是我连Maven都不知道是什么，经过了一天的折腾我终于配好了，于是乎我就想发一篇文章，给大家一些参考，希望可以帮到跟我当初一样迷茫的人。

所需配置

1.Windows下安装好IDEA

2.Windows下安装好jdk1.8

3.Linux下安装好hadoop

4.Windows下安装好Maven

前三个大家应该已经配置好了，我着重介绍Maven的配置

操作步骤

一、Maven的下载

推荐大家直接下载老师发送的Maven压缩包，很方便直接压缩完就可以用，也可以自己从官网下载Maven官网下载链接

下载完后打开apache-maven-3.6.3文件是这样的

二、配置Maven环境变量

在目录内新建名为repository的文件，如下图

配置环境变量，可以直接在windows搜索环境变量。

系统变量->新建变量名不变，变量值设为自己的文件路径

系统变量->Path->新建输入如下内容

%JAVA_HOME%\bin

三、配置阿里云镜像

老师在群里发了一个setting.xml文件，可以直接覆盖conf文件下的同名文件，这样阿里云镜像就配置好了。

手动配置：

打开setting.xml文件，建议用vscode打开，找到<mirrors></mirrors>标签，在其中添加如下内容

<mirror>  
      <id>nexus-aliyun</id>  
      <mirrorOf>central</mirrorOf>    
      <name>Nexus aliyun</name>  
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  
    </mirror>

四、Maven配置JDK

在setting文件下找到profile标签，添加如下配置

     <profile>
           <id>jdk-1.8</id>
           <activation>
               <activeByDefault>true</activeByDefault>
               <jdk>1.8</jdk>
           </activation>
 
           <properties>
               <maven.compiler.source>1.8</maven.compiler.source>
               <maven.compiler.target>1.8</maven.compiler.target>
               <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
           </properties>
     </profile>

如图

五、Maven建立本地仓库

在setting.xml文件中找到标签localRepository，在其中添加自己仓库的路径，就是我们之前新建的repository文件的路径。

<localRepository>E:\大数据\apache-maven-3.6.3\repository</localRepository>

以管理员身份运行cmd，输入mvn help:system，配置成功后repository中会出现一些文件

六、在IDEA中配置Maven

找到设置，点击构建、执行、部署

点击构建工具

点击Maven

1.修改Maven主路径，修改为自己的路径

2.修改用户配置文件

3.修改本地仓库

4.勾选使用xxxxx中的设置

到这里Maven的配置完成了，要完成我们的实验还要添加相关依赖

IDEA操作步骤

一、新建Maven文件

点击文件->新建->项目在构建系统中选择Maven

二、在pom.xml添加相关依赖

<dependencies>
        <!-- hadoop相关依赖 -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.3</version>
        </dependency>
        <!-- 单元测试依赖 -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13.2</version>
            <scope>test</scope>
        </dependency>
        <!-- log4j依赖 -->
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.17.2</version>
        </dependency>
    </dependencies>