- hdfs dfs-help
- hdfs dfs -put
- hdfs dfs -cat
- hdfs dfs -get
- hdfs dfs -mv
- hdfs dfs -ls
- hadoop dfsadmin -help
- hdfs dfs -appendToFile 。
- hdfs dfs -rmr
- hdfs dfs -touchz
- hdfs dfs -mkdir
- hdfs dfs -moveFromLocal
- hdfs dfs -chgrp
- hdfs dfs -chmod
- hdfs dfs -chown
- 定位hdfs命令的帮助文档位置(抓图)
- 定位配置Hadoop集群的配置项帮助文档位置(抓图)
- Java编程实现HDFS下创建目录
- Java编程实现HDFS下显示目录列表
- Java编程实现HDFS下删除目录
- Java编程实现向HDFS上传文件
在做实验实验报告2时前边的HDFS命令都很顺利,但是在进行JAVA编程实现HDFS的操作时我傻眼了,刚开始我以为要在虚拟机linux中实现,后来发现显然不行,要在windows中实现,可是在我把代码写到IDEA中我发现一堆报错,貌似是缺少依赖项,要进行Maven配置,可是我连Maven都不知道是什么,经过了一天的折腾我终于配好了,于是乎我就想发一篇文章,给大家一些参考,希望可以帮到跟我当初一样迷茫的人。
所需配置
1.Windows下安装好IDEA
2.Windows下安装好jdk1.8
3.Linux下安装好hadoop
4.Windows下安装好Maven
前三个大家应该已经配置好了,我着重介绍Maven的配置
操作步骤
一、Maven的下载
推荐大家直接下载老师发送的Maven压缩包,很方便直接压缩完就可以用,也可以自己从官网下载Maven官网下载链接
下载完后打开apache-maven-3.6.3文件是这样的
二、配置Maven环境变量
在目录内新建名为repository的文件,如下图
配置环境变量,可以直接在windows搜索环境变量。
系统变量->新建 变量名不变,变量值设为自己的文件路径
系统变量->Path->新建 输入如下内容
%JAVA_HOME%\bin
三、配置阿里云镜像
老师在群里发了一个setting.xml文件,可以直接覆盖conf文件下的同名文件,这样阿里云镜像就配置好了。
手动配置:
打开setting.xml文件,建议用vscode打开,找到<mirrors></mirrors>
标签,在其中添加如下内容
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>central</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</mirror>
四、Maven配置JDK
在setting文件下找到profile标签,添加如下配置
<profile>
<id>jdk-1.8</id>
<activation>
<activeByDefault>true</activeByDefault>
<jdk>1.8</jdk>
</activation>
<properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
</properties>
</profile>
如图
五、Maven建立本地仓库
在setting.xml文件中找到标签localRepository,在其中添加自己仓库的路径,就是我们之前新建的repository文件的路径。
<localRepository>E:\大数据\apache-maven-3.6.3\repository</localRepository>
以管理员身份运行cmd,输入mvn help:system,配置成功后repository中会出现一些文件
六、在IDEA中配置Maven
找到设置,点击构建、执行、部署
点击构建工具
点击Maven
1.修改Maven主路径,修改为自己的路径
2.修改用户配置文件
3.修改本地仓库
4.勾选使用xxxxx中的设置
到这里Maven的配置完成了,要完成我们的实验还要添加相关依赖
IDEA操作步骤
一、新建Maven文件
点击文件->新建->项目 在构建系统中选择Maven
二、在pom.xml添加相关依赖
<dependencies>
<!-- hadoop相关依赖 -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.7.3</version>
</dependency>
<!-- 单元测试依赖 -->
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.13.2</version>
<scope>test</scope>
</dependency>
<!-- log4j依赖 -->
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>2.17.2</version>
</dependency>
</dependencies>
三、重启IDEA
之后就可以进行代码的编写了,由于查重的原因我就不把我的代码展示出来了,代码都比较简单,也可以用GPT哈哈哈。
参考
https://blog.csdn.net/MSDCP/article/details/127680844?spm=1001.2014.3001.5506
https://blog.csdn.net/qq_42881421/article/details/123674818