七 HDFS客户端操作

最新推荐文章于 2023-08-18 11:15:27 发布

andyonlines

最新推荐文章于 2023-08-18 11:15:27 发布

阅读量165

点赞数

分类专栏： Hadoop 文章标签： hdfs hadoop 大数据 intellij idea java

本文链接：https://blog.csdn.net/andyonlines/article/details/104432435

版权

本文介绍了如何准备HDFS客户端环境，包括下载hadoop client、配置环境变量、创建Maven工程及导入依赖。接着讲解了在IntelliJ IDEA上连接和操作Hadoop集群的步骤，涉及设置配置参数、建立连接、调用API以及关闭资源。

摘要由CSDN通过智能技术生成

1. HDFS客户端环境准备

(1) 下载hadoop client 包并解压到一个无中文无空格的目录下 :
链接：https://pan.baidu.com/s/1aYt3IHMYTO10XLzURkODlg
提取码：3e4m
(以上包是win10 的其它系统需要自己下载)

(2) 配置HADOOP_HOME环境变量
在这里插入图片描述

(3) 创建一个Maven工程HdfsClientDemo
(4) 导入相应的依赖坐标+日志
pom.xml文件添加:

<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-core</artifactId>
			<version>2.8.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.7.2</version