HDFS API详解

最新推荐文章于 2023-12-12 08:42:01 发布
最新推荐文章于 2023-12-12 08:42:01 发布
阅读量744 收藏
点赞数 1
分类专栏： hadoop 源码阅读 文章标签： Hadoop API IO HDFS

Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。

Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过来类的get方法得到具体类。get方法存在几个重载版本，常用的是这个：

 

static FileSystem get(Configuration conf);

 

　　该类封装了几乎所有的文件操作，例如mkdir，delete等。综上基本上可以得出操作文件的程序库框架：

 

operator()

{

    得到Configuration对象

    得到FileSystem对象

    进行文件操作

}

 

6.1 上传本地文件

　　通过"FileSystem.copyFromLocalFile（Path src，Patch dst）"可将本地文件上传到HDFS的制定位置上，其中src和dst均为文件的完整路径。具体事例如下：

 

package com.hebut.file;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

 

public class CopyFile {

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

       

        //本地文件

        Path src =new Path("D:\\HebutWinOS");

        //HDFS为止

        Path dst =new Path("/");

       

        hdfs.copyFromLocalFile(src, dst);

        System.out.println("Upload to"+conf.get("fs.default.name"));

       

        FileStatus files[]=hdfs.listStatus(dst);

        for(FileStatus file:files){

            System.out.println(file.getPath());

        }

    }

}

 

　　运行结果可以通过控制台、项目浏览器和SecureCRT查看，如图6-1-1、图6-1-2、图6-1-3所示。

　　1）控制台结果

 

　　

图6-1-1 运行结果（1）

　　2）项目浏览器

 

　　

图6-1-2 运行结果（2）

　　3）SecureCRT结果

 

　　

图6-1-3 运行结果（3）

6.2 创建HDFS文件

　　通过"FileSystem.create（Path f）"可在HDFS上创建文件，其中f为文件的完整路径。具体实现如下：

 

package com.hebut.file;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

 

public class CreateFile {

 

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

       

        byte[] buff="hello hadoop world!\n".getBytes();

       

        Path dfs=new Path("/test");

       

        FSDataOutputStream outputStream=hdfs.create(dfs);

        outputStream.write(buff,0,buff.length);

       

    }

}

 

　　运行结果如图6-2-1和图6-2-2所示。

　　1）项目浏览器

 

　　

图6-2-1 运行结果（1）

　　2）SecureCRT结果

 

　　

图6-2-2 运行结果（2）

6.3 创建HDFS目录

　　通过"FileSystem.mkdirs（Path f）"可在HDFS上创建文件夹，其中f为文件夹的完整路径。具体实现如下：

 

package com.hebut.dir;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

 

public class CreateDir {

 

    public static void main(String[] args) throws Exception{

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

       

        Path dfs=new Path("/TestDir");

       

        hdfs.mkdirs(dfs);

 

    }

}

 

　　运行结果如图6-3-1和图6-3-2所示。

　　1）项目浏览器

 

　　

图6-3-1 运行结果（1）

　　2）SecureCRT结果

 

　　

图6-3-2 运行结果（2）

6.4 重命名HDFS文件

　　通过"FileSystem.rename（Path src，Path dst）"可为指定的HDFS文件重命名，其中src和dst均为文件的完整路径。具体实现如下：

 

package com.hebut.file;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

 

public class Rename{

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

     

        Path frpaht=new Path("/test");    //旧的文件名

        Path topath=new Path("/test1");    //新的文件名

       

        boolean isRename=hdfs.rename(frpaht, topath);

       

        String result=isRename?"成功":"失败";

        System.out.println("文件重命名结果为："+result);

       

    }

}

 

　　运行结果如图6-4-1和图6-4-2所示。

　　1）项目浏览器

 

　　

图6-4-1 运行结果（1）

    2）SecureCRT结果

 

　　

图6-4-2 运行结果（2）

6.5 删除HDFS上的文件

　　通过"FileSystem.delete（Path f，Boolean recursive）"可删除指定的HDFS文件，其中f为需要删除文件的完整路径，recuresive用来确定是否进行递归删除。具体实现如下：

 

package com.hebut.file;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

 

public class DeleteFile {

 

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

       

        Path delef=new Path("/test1");

       

        boolean isDeleted=hdfs.delete(delef,false);

        //递归删除

        //boolean isDeleted=hdfs.delete(delef,true);

        System.out.println("Delete?"+isDeleted);

    }

}

 

　　运行结果如图6-5-1和图6-5-2所示。

　　1）控制台结果

 

　　

图6-5-1 运行结果（1）

    2）项目浏览器

　　

图6-5-2 运行结果（2）

6.6 删除HDFS上的目录

　　同删除文件代码一样，只是换成删除目录路径即可，如果目录下有文件，要进行递归删除。

6.7 查看某个HDFS文件是否存在

　　通过"FileSystem.exists（Path f）"可查看指定HDFS文件是否存在，其中f为文件的完整路径。具体实现如下：

 

package com.hebut.file;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

 

public class CheckFile {

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

        Path findf=new Path("/test1");

        boolean isExists=hdfs.exists(findf);

        System.out.println("Exist?"+isExists);

    }

}

 

　　运行结果如图6-7-1和图6-7-2所示。

　　1）控制台结果

 

　　

图6-7-1 运行结果（1）

　　2）项目浏览器

 

　　

图6-7-2 运行结果（2）

6.8 查看HDFS文件的最后修改时间

　　通过"FileSystem.getModificationTime()"可查看指定HDFS文件的修改时间。具体实现如下：

 

package com.hebut.file;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

 

public class GetLTime {

 

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

       

        Path fpath =new Path("/user/hadoop/test/file1.txt");

       

        FileStatus fileStatus=hdfs.getFileStatus(fpath);

        long modiTime=fileStatus.getModificationTime();

       

        System.out.println("file1.txt的修改时间是"+modiTime);

    }

}

 

　　运行结果如图6-8-1所示。

 

　　

图6-8-1 控制台结果

6.9 读取HDFS某个目录下的所有文件

　　通过"FileStatus.getPath（）"可查看指定HDFS中某个目录下所有文件。具体实现如下：

 

package com.hebut.file;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

 

public class ListAllFile {

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

       

        Path listf =new Path("/user/hadoop/test");

       

        FileStatus stats[]=hdfs.listStatus(listf);

        for(int i = 0; i < stats.length; ++i)

　　　　 {

　　　　　　 System.out.println(stats[i].getPath().toString());

　　　　 }

        hdfs.close();

    }

}

 

　　运行结果如图6-9-1和图6-9-2所示。

　　1）控制台结果

 

　　

图6-9-1 运行结果（1）

 

　　2）项目浏览器

 

　　

图6-9-2 运行结果（2）

6.10 查找某个文件在HDFS集群的位置

　　通过"FileSystem.getFileBlockLocation（FileStatus file，long start，long len）"可查找指定文件在HDFS集群上的位置，其中file为文件的完整路径，start和len来标识查找文件的路径。具体实现如下：

 

package com.hebut.file;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.BlockLocation;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

 

public class FileLoc {

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

        Path fpath=new Path("/user/hadoop/cygwin");

       

        FileStatus filestatus = hdfs.getFileStatus(fpath);

        BlockLocation[] blkLocations = hdfs.getFileBlockLocations(filestatus, 0, filestatus.getLen());

 

        int blockLen = blkLocations.length;

        for(int i=0;i<blockLen;i++){

            String[] hosts = blkLocations[i].getHosts();

            System.out.println("block_"+i+"_location:"+hosts[0]);

        }

    }

}

 

　　运行结果如图6-10-1和6.10.2所示。

　　1）控制台结果

 

　　

图6-10-1 运行结果（1）

　　2）项目浏览器

 

　　

图6-10-2 运行结果（2）

6.11 获取HDFS集群上所有节点名称信息

　　通过"DatanodeInfo.getHostName（）"可获取HDFS集群上的所有节点名称。具体实现如下：

 

package com.hebut.file;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.hdfs.DistributedFileSystem;

import org.apache.hadoop.hdfs.protocol.DatanodeInfo;

 

public class GetList {

 

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem fs=FileSystem.get(conf);

       

        DistributedFileSystem hdfs = (DistributedFileSystem)fs;

        DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats();

       

        for(int i=0;i<dataNodeStats.length;i++){

            System.out.println("DataNode_"+i+"_Name:"+dataNodeStats[i].getHostName());

        }

    }

}

 

　　运行结果如图6-11-1所示。

 

　　

图6-11-1 控制台结果

dragon_fire
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
使用Java Api操作HDFS过程详解
08-25
主要介绍了使用Java Api操作HDFS过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
HDFS客户端操作2 文件操作
Auraros的博客
10-13 265
HDFS客户端操作2 文件操作 更多整理都在我的github上：Auraros欢迎大家。 连接方式 主要有两种连接HDFS方式： // 如果在resource中设置好了fs.defaultFS，则可以 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); //如果没有的话，可以 Configuration conf = new Configuration(); conf.set("fs.default
详细介绍HDFS的API实操与读写流程
twi_twi的博客
10-24 1502
一文详细介绍Hadoop中HDFS的API实操、底层架构与读写流程
Java实现hdfs的8个api操作
m0_48170265的博客
04-15 1663
Java实现hdfs的8个api操作
HDFS简介与常用API
FiveCode的博客
10-28 1244
HDFS简介 HDFS是一个文件系统（Hadoop Document File System），通过目录树来定位文件。其次，它是分布式的。 HDFS适用于：一次写入，多次读出的场景。 HDFS通过多种方式，实现了高容错性、可靠性、适合处理大数据 HDFS缺点： 1.不适合低延时的数据访问。 2.无法高效的对大量小文件进行存储 （占用过多NameNode的内存用于存储文件目录...
HDFS的java操作
dongdingjiu8971的博客
07-30 431
搭建开发环境 1、引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</version> </de...
HDFS全面详解
02-24
HadoopHDFS分布式文件系统DFS简介HDFS的系统组成介绍HDFS的组成部分详解副本存放策略及路由规则命令行接口Java接口客户端与HDFS的数据流讲解掌握hdfs的shell操作掌握hdfs的javaapi操作理解hdfs的工作原理设计思想...
Python API 操作Hadoop hdfs详解
09-16
主要介绍了Python API 操作Hadoop hdfs详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
HDFS的java api详解
10-22
Java操作Hdfs,配置开发环境，NameNode详解，DataNode详解，namenode与datanode的工作机制
【Hadoop】HDFS API 操作大全
康师傅没有眼泪
09-18 2756
为了提供对不同数据访问的一致接口，Hadoop借鉴了Linux虚拟文件系统的概念，为此Hadopo提供了一个抽象的文件系统模型FileSystem，HDFS 是其中的一个实现。 FileSystem是Hadoop中所有文件系统的抽象父类，它定义了文件系统所具有的基本特征和基本操作。
HDFS JAVA API（Hadoop3.0）
qq_35193897的博客
04-18 695
1.HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础篇，为了实现本地与HDFS的文件传输，主要借助Eclipse开发环境，通过java编程实现了远程HDFS的文件创建，上传，下载，删除等。在my.hdfs包下，新建类PutMerge，程序功能是将Linux本地文件夹/data/hadoop4/下的所有文件，上传到HDFS上并合并成一个文件/hdfstest/mergefile。
Hadoop框架-HDFS-客户端API操作
丷江南南的博客
04-24 842
(因为后续我们把关闭对象的操作也封装到了类中的另一方法内，关闭时需要调用该对象)接下来便可以编写代码了，为了方便后续使用，我们把。注意这里我们为mkdirs方法传入的参数仅为1个。命令把FileSystem对象升级为类中的一个。执行，所以只需要写需要执行的操作的代码即可。如果进行校验，则该crc文件不会产生。方法(获取客户端FileSystem对象)方法(关闭客户端FileSystem对象)服务器上，并且HDFS在hadoop的。同样，关闭资源的操作我们也封装到一个。当然，在执行以上操作前，首先要确保。
HDFS的API操作
&volume的博客
03-15 2303
使用注解@Test进行测试，调用的还是Linux中的mkdir 让客户端连接对象进行调用（**注意 这里 客户端连接对象要在类的上方使用private进行定义，方便在下方方法中的调用）返回值：返回的形式是迭代器（迭代器是一种设计模式，官方话不多数，说一下自己的理解可能不贴切---个人认为迭代器就像把数据封装成一个数据库一样，包含各种属性，每一条信息就是一个元组）文件移动分为很多，根据参数的不同，做出不同的操作，都是调用rename方法。文件和文件夹的判断也分为两种，一种是可迭代的，一种是不可迭代的。
JAVA操作HDFS API(hadoop)
weixin_30532369的博客
06-06 130
HDFS API详解 　　Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。 Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过来类的get方法得到具体类。get方法存在几个重载版本，常用的是这个： static FileSystem ...
【Hadoop_04】HDFS的API操作与读写流程
最新发布
12-12 1201
此策略减少了机架间的写入流量，从而总体上提高了写入性能。机架故障的几率远小于节点故障的几率；该策略不影响数据可靠性和可用性保证。但是，它确实减少了读取数据时使用的聚合网络带宽，因为一个数据块只放在两个不同的机架中，而不是三个。使用此策略，文件的副本不会均匀分布在机架上。三分之一的副本位于一个节点上，三分之二的副本位于一个机架上，另外三分之一的副本均匀分布在其余机架上。该策略提高了写入性能，而不影响数据可靠性或读取性能。
HDFS的常用API介绍
klionl的博客
04-04 2426
Hadoop--入门HDFS常用API1.常用API1.创建目录2.文件上传测试参数优先级3.文件下载4.文件夹删除5.文件更名6.文件详情查看6.判断文件和文件夹2.完整代码 HDFS常用API 创建一个Maven工程，导入相应的依赖坐标和日志添加，我这里hadoop的版本为2.7.2 <dependencies> <dependency> <groupI...
Hadoop-HDFS API+工作机制简述
qq_35716887的博客
06-01 258
这是一种分布式的文件系统，用于管理在不同机器上的文件存储，通过目录树的方式来定义文件存储位置。适合一次写入，多次读出的情况。一个文件的修改只能在末尾追加，而不能在中间修改。
Hadoop HDFS的API操作
qq_37247026的博客
05-09 1643
IDEA创建Maven工程，由于版本不一样，这里我使用2022.3版本，有一个将junit加入classpath的设置，还有将各种目录设置：Mark Directory as ：src/main/java 关联为 Sources Root;在HDFS上面进行性文件a.txt的再一次校验值***，将123 与 ***进行对比。比如上传文件到百度网盘，会发现有时候特别快，上传的文件会有一个校验值，其他人上传相同文件的时候，会将另外待上传相同文件计算一个校验值去服务端查找，有此校验值，就保存一个在百度网网盘。
hdfs api文档
08-09
HDFS API文档是指Hadoop分布式文件系统（HDFS）的应用程序编程接口（API）的文档。HDFS是一个开源的分布式文件系统，被广泛用于大规模数据存储和处理的分布式环境中。 HDFS API文档提供了开发人员使用HDFS的接口的详细说明和示例代码。它包含了一系列的类和方法，开发人员可以利用这些API来实现对HDFS中数据的读取、写入和管理。这些API提供了对HDFS文件系统的基本操作，比如创建、删除和重命名文件，以及对文件的读取、写入和追加等。 HDFS API文档的内容通常包括以下几个方面： 1. HDFS连接和配置：文档描述了如何连接到HDFS集群，并配置必要的参数，比如HDFS集群的主机名和端口等。 2. 文件操作：文档介绍了如何在HDFS上创建、删除和重命名文件，以及如何获取文件的属性和状态信息。 3. 数据读写：文档详细说明如何使用API进行数据的读取和写入操作。开发人员可以使用这些API从HDFS中读取数据，或者将数据写入HDFS。 4. 目录和权限管理：文档介绍了如何在HDFS上进行目录的创建、删除和查询等操作，并说明了如何设置和管理文件的权限。 除了上述内容，HDFS API文档还可能包含一些高级功能的介绍，比如HDFS中的数据复制和故障恢复机制等。此外，文档通常还提供了示例代码和常见问题解答，以帮助开发人员更好地理解和使用HDFS API。 总之，HDFS API文档是Hadoop分布式文件系统（HDFS）提供的编程接口的详细说明和示例代码，帮助开发人员在分布式环境中有效地读写和管理HDFS中的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值