2021-12-08 迈向程序猿的第四十五步

目录

一.IDEA远程管理HDFS

1.1  解压hadoop-2.7.6.tar.gz到本地磁盘

1.2 配置环境变量

1.3 由于Hadoop是在32位系统上编译的，并且对windows支持不好，所以需要把64的编译本地库文件(下图的两个文件)，放入bin目录中。

 1.4 验证环境变量

1.5 如果报错:Error: JAVA_HOME is incorrectly set

1.6 提取HDFS的资源jar包

1.7 打开IDEA新建个java项目

1.8 项目下新建一个lib文件夹

 1.9 将_jars的所有jar包导入到lib中

 1.10 新建个Test类

 1.11 获取分布式文件系统对象

1.12 通过IDEA对HDFS进行文件的上传和下载

1.13 通过IDEA进行对HDFS的目录创建和删除

1.14 通过IDEA实现对HDFS上文件的重命名

1.15 通过IOUtils对文件进行上传和下载

1.16 API之文件状态

二.通过创建Maven项目连接HDFS

2.1 将Maven压缩包解压到本地磁盘

2.2 配置环境变量

2.3 修改settings.xml文件

2.3.1 指定本地仓库

2.3.2 指定aliyun镜像(下载资源速度更快)

2.4 创建maven项目

​

2.5 导入jar包依赖

2.6 验证连接

---

一.IDEA远程管理HDFS

1.1  解压hadoop-2.7.6.tar.gz到本地磁盘

 

1.2 配置环境变量

- HADOOP_HOME:    D:\apps\hadoop-2.7.6
- PATH: %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin

1.3 由于Hadoop是在32位系统上编译的，并且对windows支持不好，所以需要把64的编译本地库文件(下图的两个文件)，放入bin目录中。

 1.4 验证环境变量

C:\Users\usr>hadoop version

1.5 如果报错:Error: JAVA_HOME is incorrectly set

那就找到etc/hadoop/下的hadoop-env.cmd，修改JAVA_HOME的内容如下格式即可
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_221

如果还不好用，那么重新装一个JDK，路径上别带空格

1.6 提取HDFS的资源jar包

 

为了方便开发，我们可以将相关的jar提取出来。
1. 在hadoop-2.7.6目录下创建以上目录(参考图片)
2. 进入share目录中的doc子目录，搜索default.xml。将四个默认的xml文件copy到_default目录中，方便以后查看
3. 进入share目录中，搜索*.jar。将搜索到的所有jar文件copy到_jars目录下，重复的跳过。大约208个jar包左右。
4. 在_jars目录中，搜索test,将搜索到的jar包剪切到_tests目录下。这是一些关于程序测试的jar包，提取出来。大约36个左右
5. 在_jars目录中，搜索source，将搜索到的jar包剪切到_sources目录下。这些jar包是hadoop的源码包。想看源码的可以使用，大约28个
6. 此时，_jars目录中剩下的都是hadoop的相关api的jar包，大约144个。

1.7 打开IDEA新建个java项目

1.8 项目下新建一个lib文件夹

 1.9 将_jars的所有jar包导入到lib中

 

 1.10 新建个Test类