HDFS之JAVA客户端操作

最新推荐文章于 2023-06-27 09:00:00 发布
最新推荐文章于 2023-06-27 09:00:00 发布
阅读量281 收藏 1
点赞数
分类专栏： apache-hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SnowXu01/article/details/108475874
版权

1. HDFS 客户端准备

（1）准备hadoop 的 安装包 ， 我这里用的hadoop-2.7.2 的版本
在这里插入图片描述

（2）需要配置的环境变量 有 HADOOP_HOME 和 PATH 变量
在这里插入图片描述

（2）配置hadoop 的 HADOOP_HOME 路径
（3）配置PATH路径
在这里插入图片描述

2. 创建工程

（1） 创建maven模块我这里创建了 hdfs-core
在这里插入图片描述

（2）增加pom依赖

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-slf4j-impl</artifactId>
            <version>2.12.0</version>
        </dependency>

（3） 在 src/main/resources 目录中增加日志配置文件 log4j2.xml

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="error" strict="true" name="XMLConfig">
    <Appenders>
        <Appender type="Console" name="STDOUT">
            <Layout type="PatternLayout"
                    pattern="[%p] [%d{yyyy-MM-dd HH:mm:ss}][%c{10}]%m%n" />
        </Appender>
    </Appenders>

    <Loggers>
        <!-- 可加性为false -->
        <Logger name="test" level="info" additivity="false">
            <AppenderRef ref="STDOUT" />
        </Logger>

        <!-- root loggerConfig设置 -->
        <Root level="info">
            <AppenderRef ref="STDOUT" />
        </Root>
    </Loggers>
</Configuration>

（4） 增加测试类 HDFSClientTest
在这里插入图片描述

package cn.learn.bigdata.hdfs.core;

/**
 * 测试java客户端连接 hdfs 操作
 */
public class HDFSClientTest {
	
}

3. HDFS 的 基础API操作

3.1 获取FileSystem对象
方式1

（1）代码

	@Test
	public void getConnection1(){
		// 1 获取文件系统
		Configuration configuration = new Configuration();

		// 需要 VM option 增加hadoop用户名: -DHADOOP_USER_NAME=hadoop
		configuration.set("fs.defaultFS", "hdfs://hadoop181:9000");

		try (FileSystem fileSystem = FileSystem.get(configuration)) {
			System.out.println(fileSystem);
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

（2）测试结果
在这里插入图片描述

（3）注意事项

这种方式需要设置VM参数，否则， 操作时候会报错，获取连接不会报错
在这里插入图片描述

方式2

（1）代码

	@Test
	public void getConnection2(){
		// 1 获取文件系统
		Configuration configuration = new Configuration();
		// 1. uri 路径可以设置在configuration 也可以通过后买你的URI 设置
		// configuration.set("fs.defaultFS", "hdfs://hadoop181:9000");
		//try (FileSystem fileSystem = FileSystem.get(new URI(""),configuration,"hadoop")) {
		// 2. 如果configuration 没设置uri， 也可以设置到URI上，new URI的优先级比configuration的高
		try (FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop185:9000"),configuration,"hadoop")) {
			System.out.println(fileSystem);
		} catch (IOException | URISyntaxException | InterruptedException e) {
			e.printStackTrace();
		}
	}

（2）注意事项

  • 连接的uri可以设置在configuration 也可以设置在 new URI上
  • new URI上设置的优先级会比configuration上设置的优先级高
    在这里插入图片描述
3.1 文件目录的创建

（1） 代码

	@Test
	public void mkdir() throws IOException {
		Configuration configuration = new Configuration();
		try(FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop181:9000"),
				configuration, "hadoop")){
				fileSystem.mkdirs(new Path("/data/hadoop/java/"));
		} catch (IOException | URISyntaxException | InterruptedException e) {
				e.printStackTrace();
		}
	}

（2）完成后查看
在这里插入图片描述

3.2 文件的上传操作

（1）代码

	@Test
	public void copyFromLocalFile() {

		try(FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop181:9000"),
				new Configuration(), "hadoop")){

			/** fileSystem 中的文件上传方法 并没有一个 put 的方法， 只有一个 copyFromLocalFile */
			fileSystem.copyFromLocalFile(
					new Path("src/main/resources/log4j2.xml"),
					new Path("/data/hadoop/java/"));

		} catch (IOException | URISyntaxException | InterruptedException e) {
			e.printStackTrace();
		}
	}

（2）完成后查看
在这里插入图片描述

3.3 文件下载操作

（1）代码

	@Test
	public void copyToLocalFile() {

		try(FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop181:9000"),
				new Configuration(), "hadoop")){
			/*
			 copyToLocalFile 参数说明
						  delSrc ：是否删除源文件
						  src： 要下载的文件路径
						  dst ：文件下载到哪里
						  useRawLocalFileSystem ：是否需要校验
			*/
			fileSystem.copyToLocalFile(
					new Path("/data/hadoop/java/log4j2.xml"),
					new Path("src/main/resources/log4j2.xml.download"));

		} catch (IOException | URISyntaxException | InterruptedException e) {
			e.printStackTrace();
		}
	}

（2）完成效果查看
在这里插入图片描述
（3）备注

  • *.src 是校验文件
3.4 修改文件改名

（1）代码

	@Test
	public void renameFile() {

		try(FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop181:9000"),
				new Configuration(), "hadoop")){
			fileSystem.rename(
					new Path("/data/hadoop/java/log4j2.xml"),
					new Path("/data/hadoop/java/log4j2_tmp.xml"));

		} catch (IOException | URISyntaxException | InterruptedException e) {
			e.printStackTrace();
		}
	}

（2）效果演示
在这里插入图片描述

3.5 移动文件位置

（1）代码

	@Test
	public void removeFile(){
		try(FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop181:9000"),new Configuration(),"hadoop")){
			fileSystem.rename(
					new Path("/data/hadoop/java/log4j2_tmp.xml"),
					new Path("/data/hadoop/java/temp/log4j2_tmp.xml"));
		}catch(Exception e){
			e.printStackTrace();
		}
	}

（2）效果
在这里插入图片描述

3.6 查看文件详情

（1）代码

@Test
	public void list(){
		try(FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop181:9000"),new Configuration(),"hadoop")){
			RemoteIterator<LocatedFileStatus> locatedFileStatusRemoteIterator = fileSystem.listFiles(new Path("/data/hadoop/"), true);

			while (locatedFileStatusRemoteIterator.hasNext()) {
				LocatedFileStatus next = locatedFileStatusRemoteIterator.next();

				Path path = next.getPath();
				String owner = next.getOwner();
				long len = next.getLen();
				FsPermission permission = next.getPermission();
				System.out.println("========================================");
				System.out.println(path);
				System.out.println(owner);
				System.out.println(len);
				System.out.println(permission);
				System.out.println("========================================");


				BlockLocation[] blockLocations = next.getBlockLocations();
				for (BlockLocation blockLocation : blockLocations) {
					for (String host : blockLocation.getHosts()) {
						System.out.println(host);
					}
				}
				System.out.println("========================================");
			}
		}catch(Exception e){
			e.printStackTrace();
		}
	}

（2）效果

在这里插入图片描述

3.7 文件和目录的判断

（1）代码

	@Test
	public void fileOrDirector(){
		String path = "/data/hadoop";
		fileOrDirectorRec(path);
	}

	//递归遍历目录
	public void fileOrDirectorRec(String path){
		try(FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop183:9000"),new Configuration(),"hadoop")){
			FileStatus[] fileStatuses = fileSystem.listStatus(new Path(path));
			for (FileStatus fileStatus : fileStatuses) {
				if (fileStatus.isDirectory()) {

					// 如果需要判断所有的子目录需要递归
					String dirName = path + "/" + fileStatus.getPath().getName();
					System.out.println(dirName + "是一个目录");
					fileOrDirectorRec(dirName);
				} else if (fileStatus.isFile()) {
					String fileName = path + "/" + fileStatus.getPath().getName();
					System.out.println(fileName + "是一个文件");
				}
			}
		}catch(Exception e){
			e.printStackTrace();
		}
	}

（2）效果
在这里插入图片描述

3.8 文件的删除

（1) 代码

	@Test
	public void delete() throws IOException {
		try(FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop183:9000"),
				new Configuration(), "hadoop")){
			fileSystem.delete(new Path("/data/hadoop/java/temp"), true);
		} catch (IOException | URISyntaxException | InterruptedException e) {
			e.printStackTrace();
		}
	}

（2）效果
在这里插入图片描述

好吧，今天不想写了， 还有很多，基本上都是通过 FileSystem 类可以直接点出来的 ~~~

思诺的小世界
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS的java客户端
wow_is_nothing的博客
08-18 196
1、首先创建一个maven项目，在pom.xml中添加一些必要的依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.2.1</version> </depende
HDFS的java客户端操作
01-20
Hadoop之HDFS的shell操作： https://blog.csdn.net/weixin_45102492/article/details/104372580 Hadoop之HDFS的数据流：https://blog.csdn.net/weixin_45102492/article/details/104384789 NameNode和...
HDFS之Java客户端操作
最新发布
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
06-27 2011
HDFS之Java客户端操作
hdfs java jar_Java | Jar包操作HDFS系统问题
weixin_31742871的博客
02-15 262
Exception in thread "main" org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for sc问题描述java代码，打包到虚拟机，希望运行后在HDFS创建一个文件夹/java。代码如下：publicclassHdfsStart{privateFileSystemfs;//初始化pu...
Hadoop的javaAPI客户端HDFS配置使用详解
qq_27528193的博客
07-26 912
Log4j支持两种配置文件格式，一种是XML格式的文件，一种是Java特性文件lg4j.properties（键=值）在src/main/resources目录中增加日志配置文件log4j2.xml。创建扩展和定义的解析器类。
1.5.4 HDFS 客户端操作-hadoop-最全最完整的保姆级的java大数据学习资料
假装文艺范儿
12-07 506
​ HDFS命令演示启动Hadoop集群（方便后续的测试） -help：输出这个命令参数 -ls: 显示目录信息 -mkdir：在HDFS上创建目录 -moveFromLocal：从本地剪切粘贴到HDFS -appendToFile：追加一个文件到已经存在的文件末尾 输入 -cat：显示文件内容 -chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限 -copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去 -co
HDFS客户端操作
01-20
1. HDFS客户端环境搭建 1.1 安装hadoop 1.安装对应的编译后的hadoop包到非中文路径下 1.1 这里简单阐述一下在搭建环境时为什么hadoop需要重新编译源码 答: hadoop是用java写的，但是某些操作不适合用java实现，...
Hadoop02---HDFS基础(HDFS原理 java客户端).md
11-27
自己的笔记，仅供参考，包含HDFS的启动停止，HDFS基本原理（上传文件、连接校验，下载文件，数据存储位置，通信机制，namenode和DataNode职责，元数据工作机制），java端操作HDFS的基本方法
Hadoop之HDFS的shell操作
01-07
HDFS的java客户端操作：https://blog.csdn.net/weixin_45102492/article/details/104378020 Hadoop之HDFS的数据流：https://blog.csdn.net/weixin_45102492/article/details/104384789 NameNode和SecondaryNameNode...
webhdfs-java-client
04-30
webhdfs-java-client 带有Kerberos身份验证的Hadoop WebHDFS REST API的Java客户端代码。
java API 操作HDFS
05-08
javaAPI操作HDFS，测试可用 window环境需要下载hadoop客户端
pyhdfs:Python HDFS客户端
05-25
响应作为漂亮的Python类返回，并且任何失败的操作都将引发与Java异常匹配的HdfsException某些子类。 用法示例： >> > fs = pyhdfs . HdfsClient ( hosts = 'nn1.example.com:50070,nn2.example.com:50070' , ...
Hadoop之HDFS的数据流
01-07
Hadoop之HDFS概述 ：...HDFS的java客户端操作：https://blog.csdn.net/weixin_45102492/article/details/104378020 NameNode和SecondaryNameNode：https://blog.csdn.net/weixin_4
HDFS存取实例（java)
08-29
hdfs 上传 下载 客户端 代码 java
hive-install:hive的安装，前提是已经配置好了HDFS集群，DownLoad hdfs的客户端
05-05
HIVE的安装及使用@[周小龙]hive其实就是一个客户端工具，根据sql语义转化为相应的mapreduce,跑在hdfs集群上面，返回结果在返回给hive,这篇操作手册是在HDFS集群搭建成功的基础上而写，所有前提是你已经有HDFS集群,此...
HDFS
weixin_32229529的博客
05-05 246
1.1 HDFS产出背景及定义(适合一次写入，多次读出，不能修改文件，最后只能追加) 1.2 HDFS优缺点（可以自动恢复，副本是存放在不同的机器上，同一个节点只能存一个副本）这里的机器值得是服务器 说明：比较害怕小文件，因为HDFS用块的方式存储数据，而每一个块在namenode中都有一个元数据，元数据又存储在内存中的 1.3 HDFS组成架构 热备：不是事实备份，second主要是帮namen...
Hadoop之HDFS(二)java客户端操作
weixin_44191814的博客
09-17 560
Hadoop之HDFS快速入门
HDFS的java客户端api基本使用
weixin_42279393的博客
03-20 619
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HdfsClientDemo { public static void main(String[] args) throws Exc...
hdfs的简单Java客户端访问
花言简
05-09 1294
1、下载解压hadoop    个人使用的是hadoop-2.9.0版本，官网下载，并解压；    配置环境变量HADOOP_HOME，%HADOOP_HOME%\bin 添加至Path中;    打开cmd，输入hadoop，会出现hadoop的命令使用帮助情况：安装成功；2、idea下创建Java项目file--&gt;New--&gt; Project--&gt;Java,jdk设置一直点击...
操作hdfs api，如果需要访问hdfs，hdfs客户端必须要有hdfs的配置文件
05-05
是的，如果需要使用HDFS API访问HDFS，HDFS客户端必须要有HDFS的配置文件。配置文件包含HDFS集群的主机名、端口号、文件系统路径等信息。在Java程序中，可以通过以下方式加载HDFS配置文件： ```java Configuration conf = new Configuration(); conf.addResource(new Path("/path/to/hdfs-site.xml")); conf.addResource(new Path("/path/to/core-site.xml")); ``` 其中，"/path/to/hdfs-site.xml"和"/path/to/core-site.xml"是HDFS配置文件的路径，可以根据实际情况进行修改。在加载配置文件后，就可以使用HDFS API进行文件读写操作了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值