HDFS-day02-第三章HDFS的API操作

本文档详细介绍了如何在Windows环境下,利用IDEA进行Hadoop HDFS的Java API远程操作。首先,配置Hadoop环境变量,然后创建Maven工程并添加相关依赖。接着,编写Java代码,包括获取文件系统、创建目录、文件上传下载、重命名、删除以及文件信息查看等操作。最后,确保正确关闭资源。
摘要由CSDN通过智能技术生成

第二章的HDFS的shell操作是在虚拟机上进行远程连接控制HDFS操控的。

第三章的API操作时在Windows环境下,用idea开发工具使用Java代码进行远程操控的。

        1:把资料包的hadoop文件夹拷贝到一个没有中路路径的地方。

        2:在系统变量里面新增环境变量

HADOOP_HOME    D:\hadoop-3.1.0

        3:然后配置path环境变量,新增以下内容

%HADOOP_HOME%\bin

        4:创建maven工程,导入依赖,resorces路径下,新建log4j.properties文件

// 这个在pom文件下
<dependency>
 <groupId>org.apache.hadoop</groupId>
 <artifactId>hadoop-client</artifactId>
 <version>3.1.3</version>
 </dependency>
 <dependency>
 <groupId>junit</groupId>
 <artifactId>junit</artifactId>
 <version>4.12</version>
 </dependency>
 <dependency>
 <groupId>org.slf4j</groupId>
 <artifactId>slf4j-log4j12</artifactId>
 <version>1.7.30</version>
 </dependency>

// 这个在log4j.properties下
log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 
log4j.appender.logfile=org.apache.log4j.FileAppender 
log4j.appender.logfile.File=target/spring.log 
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

        5:写主测试程序代码

public class HdfsClient {
 @Test
 public void testMkdirs() throws IOException, URISyntaxException, InterruptedException {
 // 1 获取文件系统
 // 下面三行基本上都是必用的,还有下面的关闭资源,这些东西可以写具体函数封装起来
 Configuration configuration = new Configuration();
 // FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration);
 // 这个地方一定要指定具体用户,否则无法正常操作,就像我们使用虚拟机操作的时候,也是有登录用户的
 FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration,"atguigu");


 // 2 创建目录
 fs.mkdirs(new Path("/xiyou/huaguoshan/"));

 // 文件上传,可以用configuration.set("dfs.replication","2")进行指定副本数量
 // 也可以通过将hdfs-site,xml拷贝到resources资源目录下进行指定
 // 对于设置参数设置的优先级为
客户端代码中设置的值>Classpath下用户配置文件中>xxx-sitm.xml的值>xxx-default.xml值
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

 // 文件下载
// boolean delSrc 指是否将原文件删除
 // Path src 指要下载的文件路径
 // Path dst 指将文件下载到的路径
 // boolean useRawLocalFileSystem 是否开启文件校验
 fs.copyToLocalFile(false, new Path("/xiyou/huaguoshan/sunwukong.txt"), new Path("d:/sunwukong2.txt"), true);

// 文件的更名和移动
fs.rename(new Path("/xiyou/huaguoshan/sunwukong.txt"), new 
Path("/xiyou/huaguoshan/meihouwang.txt"));

// 删除文件和目录,不可删除空目录,且目录的话一定要递归删除(true)
fs.delete(new Path("/xiyou"), true);

// 查看文件信息,参数为哪个路径下的文件,以及是否递归
RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
while (listFiles.hasNext()) {
    LocatedFileStatus fileStatus = listFiles.next();
    System.out.println("========" + fileStatus.getPath() + "=========");//路径
    System.out.println(fileStatus.getPermission());//权限
    System.out.println(fileStatus.getOwner());//所有者
    System.out.println(fileStatus.getGroup());//所在组
    System.out.println(fileStatus.getLen());//长度
    System.out.println(fileStatus.getModificationTime());//修改时间
    System.out.println(fileStatus.getReplication());//副本数量
    System.out.println(fileStatus.getBlockSize());//块大小
    System.out.println(fileStatus.getPath().getName());//文件名

// 获取块信息,根据文件的大小,可能不止有一个块,这就是获取的每个块的具体信息
    BlockLocation[] blockLocations = fileStatus.getBlockLocations();
    System.out.println(Arrays.toString(blockLocations));
}

// 文件和文件夹判断,获取到指定路径的迭代器
FileStatus[] listStatus = fs.listStatus(new Path("/"));
 for (FileStatus fileStatus : listStatus) {
     // 如果是文件
     if (fileStatus.isFile()) {
         System.out.println("f:"+fileStatus.getPath().getName());
     }else {
         System.out.println("d:"+fileStatus.getPath().getName());
     }
 }


 // 3 关闭资源
 fs.close();
 }
}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

总会有天明

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值