文章目录
参考资料
运行环境
- Windows10
- JDK8
- IDEA 2021.6 专业版
- Hadoop3.1.3
- CentOS7
- 3个Hadoop完全分布式集群节点
一、准备 HDFS Java API 环境
1.1 在windows系统中准备Hadoop环境
Hadoop3.1.3 官方下载地址:点击下载,下载后解压。
hadoop主要基于linux编写,这个winutil.exe主要用于模拟Linux系统下的目录环境。因此hadoop放在windows下运行的时候,需要这个辅助程序才能运行
这些环境软件下载到hadoop目录的bin文件夹:点击下载
之后在配置Hadoop的环境变量,跟Linux环境里一样,先配置HADOOP_HOME,再配置系统变量PATH
图形化操作可以右键此电脑,点击属性,然后点击高级系统设置,环境变量
配置好后,在cmd里查看版本
hadoop version
配置完毕.
1.2 使本机连接集群节点
1.2.1 域名映射
在本机配置域名映射,这样就可以直接通过主机名连接到对应的ID
windows10配置域名映射,位置在:
C:\WINDOWS\System32\drivers\etc\
hosts的配置内容:
如图:以 IP + 空格 + 主机名 的形式进行配置
IP的话如果是本机的虚拟机则可以在虚拟机里通过命令查看
ifconfig
显示的信息中,选择eth开头的信息,比如在Vmware里是eth33,而在docker容器里就是eth0
1.2.2 路由转发
由于笔者是在虚拟机里使用docker容器搭建的三个节点,那么则有:
- 虚拟机能和自身里的docker容器相连
- 本机能和虚拟机相连
若要本机直接和虚拟机里的docker容器相连,就要进行域名转发,可参考这篇博文:Docker | 使用宿主机ping通虚拟机里的docker容器 | 路由转发
配置完成后,可以直接在主机ping通集群节点,这样就可以在之后的本机程序里连接集群的HDFS了。
1.3 使用 IDEA 创建 Maven 项目
项目结构:
pom.xml
配置 Maven项目的依赖
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.uni</groupId>
<artifactId>HDFSLearn</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<maven.compiler.source>8</maven.compiler.source>
<maven.compiler.target>8</maven.compiler.target>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j