Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接

HDFSHadoop的分布式文件系统,负责海量数据的存取
在这里插入图片描述
HDFS系列文章请参考:


一、下载Hadoop客户端环境

Hadoop客户端环境与所需要微软运行库

链接:https://pan.baidu.com/s/1pjDSImaztgGUIOj7dMUTEQ
提取码:7qrk

二、配置Hadoop环境变量

将下载的Hadoop依赖包放在一个非中文且不能有空格存在的路径中!
在这里插入图片描述
右键单击此电脑=>属性=>高级系统设置=>高级=>环境变量,到如下图所示的界面:
在这里插入图片描述
点击系统变量下的新建,输入:

  • 变量名:HADOOP_HOME
  • 变量值:D:\opt\hadoop-3.1.0(你的安装目录)
    在这里插入图片描述

点击确定,在系统变量对话框中找到Path,选中它,点击下面的编辑,之后会弹出一个界面,然后点击新建,复制以下内容到里面去:

%HADOOP_HOME%\bin

最后点击确定

在这里插入图片描述

这时候环境变量就算配置好了,验证一下环境:

找到hadoop安装目录,打开bin,找到winutils.exe,双击它:
在这里插入图片描述
双击之后,如果一闪而过就表示安装成功了!

如果出现以下报错:
在这里插入图片描述
这表示缺少一些微软的运行库,直接安装就好了,安装包都在最上面的连接里面,双击安装重启电脑,再次运行就成功了!

三、在IDEA创建Maven工程

打开IDEA,点击新建工程,然后选择Maven
在这里插入图片描述
然后点击Next
在这里插入图片描述
点击下一步,选择工程存放位置:
在这里插入图片描述
点击Finish即可。

打开之后一定要把Maven改为自己的Maven:(如果没有搭建自己的Maven环境,可以参照我的另一篇博客搭建环境,点击这串文字前往连接!
在这里插入图片描述

然后,打开pom.xml,将以下依赖粘贴到<dependencies></dependencies>中:

<!-- hadoop依赖 -->
<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-client</artifactId>
	<version>3.1.3</version>
</dependency>
<!-- Junit测试依赖 -->
<dependency>
	<groupId>junit</groupId>
	<artifactId>junit</artifactId>
	<version>4.12</version>
</dependency>
<!-- log4j日志记录依赖 -->
<dependency>
	<groupId>org.slf4j</groupId>
	<artifactId>slf4j-log4j12</artifactId>
	<version>1.7.30</version>
</dependency>

然后在src/resources目录下,创建文件:log4j.properties,粘贴以下内容:

log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 
log4j.appender.logfile=org.apache.log4j.FileAppender 
log4j.appender.logfile.File=target/spring.log 
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

HadoopAPI相关操作将在下篇博客中详解!

  • 5
    点赞
  • 23
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值