Hadoop | HDFS 学习笔记（二）HDFS Java API 环境搭建 | Java操作HDFS文件系统 | 多案例

参考资料

---

视频资料

运行环境

---

• Windows10
• JDK8
• IDEA 2021.6 专业版
• Hadoop3.1.3
• CentOS7
• 3个Hadoop完全分布式集群节点

一、准备 HDFS Java API 环境

---

1.1 在windows系统中准备Hadoop环境

Hadoop3.1.3 官方下载地址：点击下载，下载后解压。

hadoop主要基于linux编写，这个winutil.exe主要用于模拟Linux系统下的目录环境。因此hadoop放在windows下运行的时候，需要这个辅助程序才能运行

这些环境软件下载到hadoop目录的bin文件夹：点击下载

之后在配置Hadoop的环境变量，跟Linux环境里一样，先配置HADOOP_HOME，再配置系统变量PATH

图形化操作可以右键此电脑，点击属性，然后点击高级系统设置，环境变量

配置好后，在cmd里查看版本

hadoop version

配置完毕.

1.2 使本机连接集群节点

1.2.1 域名映射

在本机配置域名映射，这样就可以直接通过主机名连接到对应的ID

windows10配置域名映射，位置在：

C:\WINDOWS\System32\drivers\etc\

hosts的配置内容：

如图：以 IP + 空格 + 主机名 的形式进行配置

IP的话如果是本机的虚拟机则可以在虚拟机里通过命令查看

ifconfig

显示的信息中，选择eth开头的信息，比如在Vmware里是eth33，而在docker容器里就是eth0

1.2.2 路由转发

由于笔者是在虚拟机里使用docker容器搭建的三个节点，那么则有：

• 虚拟机能和自身里的docker容器相连
• 本机能和虚拟机相连

若要本机直接和虚拟机里的docker容器相连，就要进行域名转发，可参考这篇博文：Docker | 使用宿主机ping通虚拟机里的docker容器 | 路由转发

配置完成后，可以直接在主机ping通集群节点，这样就可以在之后的本机程序里连接集群的HDFS了。

1.3 使用 IDEA 创建 Maven 项目

项目结构：

pom.xml 配置 Maven项目的依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.uni</groupId>
    <artifactId>HDFSLearn</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.1.3</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j