Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接

HDFS是Hadoop的分布式文件系统，负责海量数据的存取

HDFS系列文章请参考：

• 一、HDFS 概述 | 优缺点 | 组成架构 | 文件块大小
• 二、HDFS 常用Shell命令 | 图文详解
• 三、HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接
• 四、HDFS API 操作图文详解及参数解读
• 五、HDFS 读写流程 | 图文详解
• 六、HDFS | NameNode和SecondaryNameNode的工作机制
• 七、HDFS | DataNode工作机制 | 数据完整性 | 掉线时限参数设置

---

一、下载Hadoop客户端环境

Hadoop客户端环境与所需要微软运行库

链接：https://pan.baidu.com/s/1pjDSImaztgGUIOj7dMUTEQ
提取码：7qrk

二、配置Hadoop环境变量

将下载的Hadoop依赖包放在一个非中文且不能有空格存在的路径中！

右键单击此电脑=>属性=>高级系统设置=>高级=>环境变量，到如下图所示的界面：

点击系统变量下的新建，输入：

• 变量名：HADOOP_HOME
• 变量值：D:\opt\hadoop-3.1.0（你的安装目录）
  

点击确定，在系统变量对话框中找到Path，选中它，点击下面的编辑，之后会弹出一个界面，然后点击新建，复制以下内容到里面去：

%HADOOP_HOME%\bin

最后点击确定

这时候环境变量就算配置好了，验证一下环境：

找到hadoop安装目录，打开bin，找到winutils.exe，双击它：

双击之后，如果一闪而过就表示安装成功了！

如果出现以下报错：

这表示缺少一些微软的运行库，直接安装就好了，安装包都在最上面的连接里面，双击安装重启电脑，再次运行就成功了！

三、在IDEA创建Maven工程

打开IDEA，点击新建工程，然后选择Maven：

然后点击Next：

点击下一步，选择工程存放位置：

点击Finish即可。

打开之后一定要把Maven改为自己的Maven：（如果没有搭建自己的Maven环境，可以参照我的另一篇博客搭建环境，点击这串文字前往连接！）

然后，打开pom.xml，将以下依赖粘贴到<dependencies></dependencies>中：

<!-- hadoop依赖 -->
<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-client</artifactId>
	<version>3.1.3</version>
</dependency>
<!-- Junit测试依赖 -->
<dependency>
	<groupId>junit</groupId>
	<artifactId>junit</artifactId>
	<version>4.12</version>
</dependency>
<!-- log4j日志记录依赖 -->
<dependency>
	<groupId>org.slf4j</groupId>
	<artifactId>slf4j-log4j12</artifactId>
	<version>1.7.30</version>
</dependency>

然后在src/resources目录下，创建文件：log4j.properties，粘贴以下内容：

log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 
log4j.appender.logfile=org.apache.log4j.FileAppender 
log4j.appender.logfile.File=target/spring.log 
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

Hadoop的API相关操作将在下篇博客中详解！