Hadoop之HDFS的FileSystem接口详解（转）

最新推荐文章于 2021-08-16 09:38:59 发布
最新推荐文章于 2021-08-16 09:38:59 发布
阅读量2.0k 收藏 3
点赞数
分类专栏： hadoop 文章标签： hadoop HDFS FileSystem

转载：http://blog.51cto.com/jaydenwang/1842908

hadoop2.8.0的API：http://hadoop.apache.org/docs/r2.8.0/api/overview-summary.html

 

基本的文件系统命令操作, 通过hadoop fs-help可以获取所有的命令的详细帮助文件。

Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。

Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过来类的get方法得到具体类。

 

构造方法

该类是一个抽象类，通过以下两种静态工厂方法可以过去FileSystem实例：

public staticFileSystem.get(Configuration conf) throws IOException

public staticFileSystem.get(URI uri, Configuration conf) throws IOException

补充一种：

public static FileSystem get(URI uri,
             Configuration conf,
             String user)
                      throws IOException,
                             InterruptedException

具体方法实现

1、publicboolean mkdirs(Path f) throws IOException

一次性新建所有目录（包括父目录）， f是完整的目录路径。

 

2、publicFSOutputStream create(Path f) throws IOException

创建指定path对象的一个文件，返回一个用于写入数据的输出流

create()有多个重载版本，允许我们指定是否强制覆盖已有的文件、文件备份数量、写入文件缓冲区大小、文件块大小以及文件权限。

 

3、publicboolean copyFromLocal(Path src, Path dst) throws IOException

将本地文件拷贝到文件系统

 

4、publicboolean exists(Path f) throws IOException

检查文件或目录是否存在

 

5、publicboolean delete(Path f, Boolean recursive)

永久性删除指定的文件或目录，如果f是一个空目录或者文件，那么recursive的值就会被忽略。只有recursive＝true时，一个非空目录及其内容才会被删除。

 

6、FileStatus类封装了文件系统中文件和目录的元数据，包括文件长度、块大小、备份、修改时间、所有者以及权限信息。

通过"FileStatus.getPath（）"可查看指定HDFS中某个目录下所有文件。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

packagehdfsTest;

  

importjava.io.IOException;

  

importorg.apache.hadoop.conf.Configuration;

importorg.apache.hadoop.fs.FSDataOutputStream;

importorg.apache.hadoop.fs.FileStatus;

importorg.apache.hadoop.fs.FileSystem;

importorg.apache.hadoop.fs.Path;

  

public classOperatingFiles {

         //initialization

         static Configuration conf = newConfiguration();

         static FileSystem hdfs;

         static {

                   String path ="/usr/java/hadoop-1.0.3/conf/";

                   conf.addResource(newPath(path + "core-site.xml"));

                   conf.addResource(newPath(path + "hdfs-site.xml"));

                   conf.addResource(newPath(path + "mapred-site.xml"));

                   path ="/usr/java/hbase-0.90.3/conf/";

                   conf.addResource(newPath(path + "hbase-site.xml"));

                   try {

                            hdfs =FileSystem.get(conf);

                   } catch (IOException e) {

                            e.printStackTrace();

                   }

         }

          //create a direction

         public void createDir(String dir)throws IOException {

                   Path path = new Path(dir);

                   hdfs.mkdirs(path);

                   System.out.println("newdir \t" + conf.get("fs.default.name") + dir);

         }       

         

         //copy from local file to HDFS file

         public void copyFile(String localSrc,String hdfsDst) throws IOException{

                   Path src = newPath(localSrc);                  

                   Path dst = new Path(hdfsDst);

                   hdfs.copyFromLocalFile(src,dst);

                   

                   //list all the files in thecurrent direction

                   FileStatus files[] =hdfs.listStatus(dst);

                   System.out.println("Uploadto \t" + conf.get("fs.default.name") + hdfsDst);

                   for (FileStatus file : files){

                            System.out.println(file.getPath());

                   }

         }

         //create a new file

         public void createFile(String fileName,String fileContent) throws IOException {

                   Path dst = newPath(fileName);

                   byte[] bytes =fileContent.getBytes();

                   FSDataOutputStream output =hdfs.create(dst);

                   output.write(bytes);

                   System.out.println("newfile \t" + conf.get("fs.default.name") + fileName);

         }

         

         //list all files

         public void listFiles(String dirName)throws IOException {

                   Path f = new Path(dirName);

                   FileStatus[] status =hdfs.listStatus(f);

                   System.out.println(dirName +" has all files:");

                   for (int i = 0; i<status.length; i++) {

                            System.out.println(status[i].getPath().toString());

                   }

         }

            //judge a file existed? and delete it!

         public void deleteFile(String fileName)throws IOException {

                   Path f = new Path(fileName);

                   boolean isExists =hdfs.exists(f);

                   if (isExists) {      //if exists, delete

                            boolean isDel =hdfs.delete(f,true);

                            System.out.println(fileName+ "  delete? \t" + isDel);

                   } else {

                            System.out.println(fileName+ "  exist? \t" + isExists);

                   }

         }

  

         public static void main(String[] args)throws IOException {

                   OperatingFiles ofs = newOperatingFiles();

                   System.out.println("\n=======createdir=======");

                   String dir ="/test";

                   ofs.createDir(dir);

                   System.out.println("\n=======copyfile=======");

                   String src ="/home/ictclas/Configure.xml";

                   ofs.copyFile(src, dir);

                   System.out.println("\n=======createa file=======");

                   String fileContent ="Hello, world! Just a test.";

                   ofs.createFile(dir+"/word.txt",fileContent);

         }

}

 

 

上传本地文件

通过"FileSystem.copyFromLocalFile（Path src，Patch dst）"可将本地文件上传到HDFS的制定位置上，其中src和dst均为文件的完整路径。具体事例如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

packagecom.hebut.file;

  

importorg.apache.hadoop.conf.Configuration;

importorg.apache.hadoop.fs.FileStatus;

importorg.apache.hadoop.fs.FileSystem;

importorg.apache.hadoop.fs.Path;

  

public classCopyFile {

    public static void main(String[] args)throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

       

        //本地文件

        Path src =newPath("D:\\HebutWinOS");

        //HDFS为止

        Path dst =new Path("/");

       

        hdfs.copyFromLocalFile(src, dst);

        System.out.println("Uploadto"+conf.get("fs.default.name"));

       

        FileStatusfiles[]=hdfs.listStatus(dst);

        for(FileStatus file:files){

            System.out.println(file.getPath());

        }

    }

}

 

运行结果可以通过控制台、项目浏览器和Linux查看，如图所示。

1、控制台结果

wKiom1e_vAODPt6FAAEI1_73W4E026.png-wh_50

2、项目浏览器

wKioL1e_vAyDiv4TAAC904IKKdM707.png-wh_50

3、linux结果详情

wKioL1e_vCCjGJVxAAGOHLMx0Xs810.png-wh_50

 

    创建HDFS文件

        通过"FileSystem.create（Path f）"可在HDFS上创建文件，其中f为文件的完整路径。具体实现如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

package com.hebut.file;

  

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

  

public class CreateFile {

  

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

        

        byte[] buff="hello hadoop world!\n".getBytes();

        

        Path dfs=new Path("/test");

        

        FSDataOutputStream outputStream=hdfs.create(dfs);

        outputStream.write(buff,0,buff.length);

        

    }

}

        运行结果如图所示。

        1）项目浏览器

        HDFS API详解

 

        2）Linux结果

   HDFS API详解

 

    创建HDFS目录

        通过"FileSystem.mkdirs（Path f）"可在HDFS上创建文件夹，其中f为文件夹的完整路径。具体实现如下：

    

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

package com.hebut.dir;

  

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

  

public class CreateDir {

  

    public static void main(String[] args) throws Exception{

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

        

        Path dfs=new Path("/TestDir");

        

        hdfs.mkdirs(dfs);

  

    }

}

        运行结果如图所示。

        1）项目浏览器

        HDFS API详解

        2）Linux结果

 HDFS API详解

 

    重命名HDFS文件

        通过"FileSystem.rename（Path src，Path dst）"可为指定的HDFS文件重命名，其中src和dst均为文件的完整路径。具体实现如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

package com.hebut.file;

  

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

  

public class Rename{

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

      

        Path frpaht=new Path("/test");    //旧的文件名

        Path topath=new Path("/test1");    //新的文件名

        

        boolean isRename=hdfs.rename(frpaht, topath);

        

        String result=isRename?"成功":"失败";

        System.out.println("文件重命名结果为："+result);

        

    }

}

        运行结果如图所示。

        1）项目浏览器

        HDFS API详解

 

    2）Linux结果     HDFS API详解

 

    删除HDFS上的文件

        通过"FileSystem.delete（Path f，Boolean recursive）"可删除指定的HDFS文件，其中f为需要删除文件的完整路径，recuresive用来确定是否进行递归删除。具体实现如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

package com.hebut.file;

  

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

  

public class DeleteFile {

  

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

        

        Path delef=new Path("/test1");

        

        boolean isDeleted=hdfs.delete(delef,false);

        //递归删除

        //boolean isDeleted=hdfs.delete(delef,true);

        System.out.println("Delete?"+isDeleted);

    }

}

 

        运行结果如图所示。

        1）控制台结果

        HDFS API详解

 

    2）项目浏览器

        HDFS API详解

 

    删除HDFS上的目录

        同删除文件代码一样，只是换成删除目录路径即可，如果目录下有文件，要进行递归删除。

 

    查看某个HDFS文件是否存在

        通过"FileSystem.exists（Path f）"可查看指定HDFS文件是否存在，其中f为文件的完整路径。具体实现如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

package com.hebut.file;

  

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

  

public class CheckFile {

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

        Path findf=new Path("/test1");

        boolean isExists=hdfs.exists(findf);

        System.out.println("Exist?"+isExists);

    }

}

 

        运行结果如图所示。

        1）控制台结果

        HDFS API详解

 

        2）项目浏览器

        HDFS API详解

 

    查看HDFS文件的最后修改时间

        通过"FileSystem.getModificationTime()"可查看指定HDFS文件的修改时间。具体实现如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

package com.hebut.file;

  

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

  

public class GetLTime {

  

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

        

        Path fpath =new Path("/user/hadoop/test/file1.txt");

        

        FileStatus fileStatus=hdfs.getFileStatus(fpath);

        long modiTime=fileStatus.getModificationTime();

        

        System.out.println("file1.txt的修改时间是"+modiTime);

    }

}

    

   运行结果如图所示。

        HDFS API详解

 

 

    读取HDFS某个目录下的所有文件

        通过"FileStatus.getPath（）"可查看指定HDFS中某个目录下所有文件。具体实现如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

package com.hebut.file;

  

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

  

public class ListAllFile {

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

        

        Path listf =new Path("/user/hadoop/test");

        

        FileStatus stats[]=hdfs.listStatus(listf);

        for(int i = 0; i < stats.length; ++i)

                 {

                         System.out.println(stats[i].getPath().toString());

                 }

        hdfs.close();

    }

}

 

        运行结果如图所示。

        1）控制台结果

        HDFS API详解

 

        2）项目浏览器

        HDFS API详解

 

    查找某个文件在HDFS集群的位置

        通过"FileSystem.getFileBlockLocation（FileStatus file，long start，long len）"可查找指定文件在HDFS集群上的位置，其中file为文件的完整路径，start和len来标识查找文件的路径。具体实现如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

package com.hebut.file;

  

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.BlockLocation;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

  

public class FileLoc {

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem hdfs=FileSystem.get(conf);

        Path fpath=new Path("/user/hadoop/cygwin");

        

        FileStatus filestatus = hdfs.getFileStatus(fpath);

        BlockLocation[] blkLocations = hdfs.getFileBlockLocations(filestatus, 0, filestatus.getLen());

  

        int blockLen = blkLocations.length;

        for(int i=0;i

            String[] hosts = blkLocations[i].getHosts();

            System.out.println("block_"+i+"_location:"+hosts[0]);

        }

    }

}

 

        运行结果如图所示。

        1）控制台结果

        HDFS API详解

 

        2）项目浏览器

        HDFS API详解

 

    获取HDFS集群上所有节点名称信息

        通过"DatanodeInfo.getHostName（）"可获取HDFS集群上的所有节点名称。具体实现如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

package com.hebut.file;

  

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.hdfs.DistributedFileSystem;

import org.apache.hadoop.hdfs.protocol.DatanodeInfo;

  

public class GetList {

  

    public static void main(String[] args) throws Exception {

        Configuration conf=new Configuration();

        FileSystem fs=FileSystem.get(conf);

        

        DistributedFileSystem hdfs = (DistributedFileSystem)fs;

        DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats();

        

        for(int i=0;ilength;i++){

            System.out.println("DataNode_"+i+"_Name:"+dataNodeStats[i].getHostName());

        }

    }

}

 

        运行结果如图所示。

       HDFS API详解

ASN_forever
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop之hdfs架构详解共2页.pdf.zip
10-29
Hadoop之hdfs架构详解共2页.pdf.zip
Hadoop之HDFS的FileSystem接口详解
weixin_34254823的博客
08-26 1292
基本的文件系统命令操作, 通过hadoop fs-help可以获取所有的命令的详细帮助文件。Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。Hadoop类库中...
利用 hadoop 的 FileSystem copyFromLocalFile 方法实现文件上传HDFS中 Hadoop 版本 2.7.0
点点滴滴 的博客
06-27 3824
利用 hadoop 的 FileSystem copyFromLocalFile 方法实现文件上传HDFS中 Hadoop 版本 2.7.0 另外说明： 远程调用机器 需要 liunx 修改 /etc/hosts 添加 10.11.12.4 master
FileStatus类介绍
数据开发探索者
09-23 1108
FileStatus类介绍 FileStatus对象封装了文件系统中文件和目录的元数据，包括文件的长度、块大小、备份数、修改时间、所有者以及权限等信息。 FileStatus对象一般由FileSystem的getFileStatus()方法获得，调用该方法的时候要把文件的Path传递进去。 FileStatus字段解析 private Path path; // Path路径 private long length; // 文件长度 priva
Hadoop之FileSystem使用
恐龙弟旺仔的博客
10-04 9237
前言： 在对hadoop的HDFS文件系统进行操作的时候，我们使用HADOOP_HOME/bin/hdfs dfs [command]，该command指的就是相应的文件操作，这是使用shell的方式。 同样，hadoop也提供了使用java来操作HDFS文件的方法 本次，我们就来简单看下如何使用java来操作HDFS 准备工作： * 创建一个mav...
hadoop抽象文件系统filesystem框架介绍
cyq6239075的博客
09-05 2817
为了提供对不同数据访问的一致接口，Hadoop借鉴了Linux虚拟文件系统的概念，引入了Hadoop抽象文件系统，并在Hadoop抽象文件系统的基础上，提供了大量的具体文件系统的实现，满足构建于Hadoop上应用的各种数据访问需求。 通过Hadoop抽象文件系统，MapReduce目前可以运行在基于HDFS的集群上，也可以运行在基于Amazon S3的云计算环境里。 Hadoop文件系统API java.io.FileSystem是java.io包的私有抽象类，不能被包以外的类引用。也就是说，不能像类
Hadoop：文件操作之Java接口(FileSystem类)
Jodness' Blogs
04-24 2558
目录 通过java.net.URL读取数据 通过FlieSystem API读写数据 读取数据 写入数据 新建目录 新建文件并写入 追加写入 一致模型 修改配置信息 通过FileStatus查询文件系统 查看文件系统信息 查看块信息 查看datanode信息 通过java.net.URL读取数据 让java程序能够识别hadoop的hdfs URL需要先通过FsUrl...
第二十六讲.FileStatus对象,获取文件的相关属性
美妙人生IT
08-16 325
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS 【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS 【视频笔记】 FileStatus对象，获取文件的相关属性 ----------------------------------------------------------- /** * 通过FileSystem API获取一些相关参数,有一些过期的方法，如何采用现有的 */ @Test public ...
Hadoop之详解HDFS架构
02-24
MapReduce——分布式计算框架，运行于YARN之上这篇文章主要是对Hadoop三大基本组件之一的HDFS进行深入的学习。随着数据量越来越大，在一一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，...
个人笔记_hadoop-hdfs架构详解.docx
02-25
个人笔记_hadoop之hdfs架构详解
Hadoop3.2.1 【 HDFS 】源码分析 : FileSystem 解析
张伯毅的专栏
08-30 8469
一.前言 FileSystem这个类是最常用的类,因为只要是我们想连接HDFS进行一些操作,程序的入口必定是它.接下来,我们通过FileSystem来分析一下,本地代码是如何通过FileSystem连接上hadoop并且读取数据的. 二.代码示例 由于我要连接的集群是一个配置HA的hadoop集群,所有我需要把core-site.xml 和hdfs-site.xml 文件放到resources目录中. java代码: public static void main(String[]..
HDFS——查询文件系统详解
我是一名程序猿
07-23 1278
1. 文件元数据：FileStatus 任何文件系统的一个重要特征都是提供其目录结构浏览和检索它所存文件和目录相关信息的功能。FileStatus类封装了文件系统中文件和目录的元数据，包括文件长度、块大小、复本、修改时间、所有者、权限信息。 FileStatus的getFileStatus()方法用于获取文件或目录的FileStatus对象。看下面： 范例1，展示文件状态信息 publi...
HDFS——删除数据
我是一名程序猿
07-23 4937
使用FileSystem中的delete()方法可以永久性的删除文件或目录。 public boolean delete(Path f,boolean recursive) throws IOException 如果 f 是一个空目录，那么recursive的值就会被忽略，只有在recursive为true时，非空目录及其内容才会被删除，否则会抛出IOException异常。 ...
Hadoop 用FileStatus类来查看HDFS中文件或目录的元信息
weixin_33976072的博客
05-26 416
Hadoop中的FileStatus类可以用来查看HDFS中文件或者目录的元信息，任意的文件或者目录都可以拿到对应的FileStatus, 我们这里简单的演示下这个类的相关API： /**/packagecom.charles.hadoop.fs;importjava.net.URI;importjava.sql.Timestamp;import...
Hadoop学习篇(二)——HDFS编程操作1
qq_17732621的博客
03-12 496
在前两篇文章中，我们已经介绍了HDFS的理论基础以及命令行的基本操作。 但是，在实际中我们使用HDFS的平台时，是不可能全部进行命令行操作的。一定是要与编程结合起来进行的。所以，本篇将介绍HDFS相关的一些编程操作。 上篇链接： Hadoop学习篇(二)——HDFS Hadoop学习篇(二)——HDFS实践操作 Hadoop学习篇(二)——HDFS编程操作1 说明：如涉及到侵权，请及时联系我，并在第一时间删除文章。 2.3 HDFS编程操作 HDFS有很多常用的Java API，这里我们用Java API模
Hadoop系统操作类FileSystem
wangkjs的博客
07-27 526
FileSystem类，Hadoop文件API的起点，是一个一个与文件系统交互的抽象类，其对HDFS的操作由不同的具体实现子类来实现。 通过下面的方法来获取一个具体的FileSystem实例： 获取用于HDFS系统的实例：public static FileSystem get(Configuration conf) throws IOException 获取用于本地文件系统的实例：pu
java 操作hdfs_hadoop学习笔记（五）：java api 操作hdfs
weixin_39564617的博客
02-15 433
HDFS的Java访问接口1)org.apache.hadoop.fs.FileSystem是一个通用的文件系统API，提供了不同文件系统的统一访问方式。2)org.apache.hadoop.fs.Path是Hadoop文件系统中统一的文件或目录描述，类似于java.io.File对本地文件系统的文件或目录描述。3)org.apache.hadoop.conf.Configuration读取、解...
hadoop利用FileSystem API 执行hadoop文件读写操作
lianggangzzu的博客
05-21 816
Hadoop文件系统较普通的文件系统差异性主要在于其容错性，普通文件系统不能直接查看hadoop的hdfs对应的文件信息。文件存储起来之后，我们是需要可以访问才能够体现它的价值，hadoop提供了FileSystem API来进行hadoop的文件读写。     本节我是对照hadoop的API中的FileSystem类写的demo，包含了一些主要的方法，更多的需要从相关api中进行查询
hadoop2.7.2学习笔记05-hadoop文件系统API定义-hadoop文件系统类org.apache.hadoop.fs.FileSystem
qq_34617750的博客
05-11 2713
class org.apache.hadoop.fs.FileSystem   抽象类FileSystem是访问hadoop文件系统的最原生态的方式；它的非抽象的子类用来实现hadoop支持的各个文件系统。   所有基于此接口的的操作必须要支持相对路径，相对路径指相对于工作路径，工作路径由setWorkingDirectory()指定。   对于每个客户端都有一个当前工作目录的概念，但是
hadoop入门hdfs
最新发布
08-12
Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。Hadoop的核心组件之一是HDFS（Hadoop Distributed File System），它是一个分布式文件系统，用于在Hadoop集群中存储数据。 要入门HDFS，首先需要安装Hadoop并配置HDFS。以下是一些入门步骤： 1. 下载Hadoop：从Apache Hadoop官方网站下载Hadoop的最新版本。 2. 配置Hadoop：解压下载的Hadoop文件，并编辑`hadoop/etc/hadoop/core-site.xml`和`hadoop/etc/hadoop/hdfs-site.xml`文件。 3. 配置core-site.xml：在该文件中，设置以下属性： - `fs.defaultFS`：指定HDFS的URL，例如`hdfs://localhost:9000` 4. 配置hdfs-site.xml：在该文件中，设置以下属性： - `dfs.replication`：指定文件的副本数量，默认为3。 - 其他可选属性，如块大小`dfs.blocksize`等。 5. 格式化HDFS：在终端中运行以下命令，格式化HDFS文件系统： ``` $ bin/hdfs namenode -format ``` 6. 启动HDFS：运行以下命令启动HDFS： ``` $ sbin/start-dfs.sh ``` 7. 验证HDFS启动：在浏览器中访问`http://localhost:50070`，可以看到Hadoop集群的Web界面。 现在，你已经成功入门HDFS。你可以使用Hadoop命令行工具（如`hdfs dfs`）或Hadoop的API来操作HDFS，例如上传文件、创建目录、删除文件等。希望这些步骤能帮助你开始学习HDFS。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值