使用 FileSystem JAVA API 对 HDFS 进行读、写、删除等操作

最新推荐文章于 2023-05-12 19:18:45 发布
最新推荐文章于 2023-05-12 19:18:45 发布
阅读量440 收藏
点赞数
分类专栏： Hadoop

Hadoop文件系统 
基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。 

Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类，通过以下两种静态工厂方法可以过去FileSystem实例： 
public static FileSystem.get(Configuration conf) throws IOException 
public static FileSystem.get(URI uri, Configuration conf) throws IOException 

具体方法实现： 
1、public boolean mkdirs(Path f) throws IOException 
一次性新建所有目录（包括父目录）， f是完整的目录路径。 

2、public FSOutputStream create(Path f) throws IOException 
创建指定path对象的一个文件，返回一个用于写入数据的输出流 
create()有多个重载版本，允许我们指定是否强制覆盖已有的文件、文件备份数量、写入文件缓冲区大小、文件块大小以及文件权限。 

3、public boolean copyFromLocal(Path src, Path dst) throws IOException 
将本地文件拷贝到文件系统 

4、public boolean exists(Path f) throws IOException 
检查文件或目录是否存在 

5、public boolean delete(Path f, Boolean recursive) 
永久性删除指定的文件或目录，如果f是一个空目录或者文件，那么recursive的值就会被忽略。只有recursive＝true时，一个非空目录及其内容才会被删除。 

6、FileStatus类封装了文件系统中文件和目录的元数据，包括文件长度、块大小、备份、修改时间、所有者以及权限信息。 

通过"FileStatus.getPath（）"可查看指定HDFS中某个目录下所有文件。 

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
package hdfsTest;
 
import java.io.IOException;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
 
public class OperatingFiles {
    //initialization
    static Configuration conf = new Configuration();
    static FileSystem hdfs;
    static {
        String path = "/usr/java/hadoop-1.0.3/conf/";
        conf.addResource(new Path(path + "core-site.xml"));
        conf.addResource(new Path(path + "hdfs-site.xml"));
        conf.addResource(new Path(path + "mapred-site.xml"));
        path = "/usr/java/hbase-0.90.3/conf/";
        conf.addResource(new Path(path + "hbase-site.xml"));
        try {
            hdfs = FileSystem.get(conf);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
     
    //create a direction
    public void createDir(String dir) throws IOException {
        Path path = new Path(dir);
        hdfs.mkdirs(path);
        System.out.println("new dir \t" + conf.get("fs.default.name") + dir);
    }  
     
    //copy from local file to HDFS file
    public void copyFile(String localSrc, String hdfsDst) throws IOException{
        Path src = new Path(localSrc);     
        Path dst = new Path(hdfsDst);
        hdfs.copyFromLocalFile(src, dst);
         
        //list all the files in the current direction
        FileStatus files[] = hdfs.listStatus(dst);
        System.out.println("Upload to \t" + conf.get("fs.default.name") + hdfsDst);
        for (FileStatus file : files) {
            System.out.println(file.getPath());
        }
    }
     
    //create a new file
    public void createFile(String fileName, String fileContent) throws IOException {
        Path dst = new Path(fileName);
        byte[] bytes = fileContent.getBytes();
        FSDataOutputStream output = hdfs.create(dst);
        output.write(bytes);
        System.out.println("new file \t" + conf.get("fs.default.name") + fileName);
    }
     
    //list all files
    public void listFiles(String dirName) throws IOException {
        Path f = new Path(dirName);
        FileStatus[] status = hdfs.listStatus(f);
        System.out.println(dirName + " has all files:");
        for (int i = 0; i< status.length; i++) {
            System.out.println(status[i].getPath().toString());
        }
    }
 
    //judge a file existed? and delete it!
    public void deleteFile(String fileName) throws IOException {
        Path f = new Path(fileName);
        boolean isExists = hdfs.exists(f);
        if (isExists) { //if exists, delete
            boolean isDel = hdfs.delete(f,true);
            System.out.println(fileName + "  delete? \t" + isDel);
        } else {
            System.out.println(fileName + "  exist? \t" + isExists);
        }
    }
 
    public static void main(String[] args) throws IOException {
        OperatingFiles ofs = new OperatingFiles();
        System.out.println("\n=======create dir=======");
        String dir = "/test";
        ofs.createDir(dir);
        System.out.println("\n=======copy file=======");
        String src = "/home/ictclas/Configure.xml";
        ofs.copyFile(src, dir);
        System.out.println("\n=======create a file=======");
        String fileContent = "Hello, world! Just a test.";
        ofs.createFile(dir+"/word.txt", fileContent);
    }
}

Using HDFS in java (0.20.0)

Below is a code sample of how to read from and write to HDFS in java.

1. Creating a configuration object:  To be able to read from or write to HDFS, you need to create a Configuration object and pass configuration parameter to it using hadoop configuration files. 
 
    // Conf object will read the HDFS configuration parameters from these  XML
    // files. You may specify the parameters for your own if you want.

    Configuration conf = new Configuration();
    conf.addResource(new Path("/opt/hadoop-0.20.0/conf/core-site.xml"));
    conf.addResource(new Path("/opt/hadoop-0.20.0/conf/hdfs-site.xml"));

    If you do not assign the configurations to conf object (using hadoop xml file) your HDFS operation will be performed on the local file system and not on the HDFS.

2. Adding file to HDFS: Create a FileSystem object and use a file stream to add a file.

    FileSystem fileSystem = FileSystem.get(conf);
    
    // Check if the file already exists
    Path path = new Path("/path/to/file.ext");
    if (fileSystem.exists(path)) {
        System.out.println("File " + dest + " already exists");
        return;
    }

    // Create a new file and write data to it.
    FSDataOutputStream out = fileSystem.create(path);
    InputStream in = new BufferedInputStream(new FileInputStream(
        new File(source)));

    byte[] b = new byte[1024];
    int numBytes = 0;
    while ((numBytes = in.read(b)) > 0) {
        out.write(b, 0, numBytes);
    }

    // Close all the file descripters
    in.close();
    out.close();
    fileSystem.close();

3. Reading file from HDFS: Create a file stream object to a file in HDFS and read it.

    FileSystem fileSystem = FileSystem.get(conf);

    Path path = new Path("/path/to/file.ext");
    if (!fileSystem.exists(path)) {
        System.out.println("File does not exists");
        return;
    }

    FSDataInputStream in = fileSystem.open(path);

    String filename = file.substring(file.lastIndexOf('/') + 1,
        file.length());

    OutputStream out = new BufferedOutputStream(new FileOutputStream(
        new File(filename)));

    byte[] b = new byte[1024];
    int numBytes = 0;
    while ((numBytes = in.read(b)) > 0) {
        out.write(b, 0, numBytes);
    }

    in.close();
    out.close();
    fileSystem.close();

3. Deleting file from HDFS: Create a file stream object to a file in HDFS and delete it.

    FileSystem fileSystem = FileSystem.get(conf);

    Path path = new Path("/path/to/file.ext");
    if (!fileSystem.exists(path)) {
        System.out.println("File does not exists");
        return;
    }

    // Delete file
    fileSystem.delete(new Path(file), true);

    fileSystem.close();

3. Create dir in HDFS: Create a file stream object to a file in HDFS and read it.

    FileSystem fileSystem = FileSystem.get(conf);

    Path path = new Path(dir);
    if (fileSystem.exists(path)) {
        System.out.println("Dir " + dir + " already not exists");
        return;
    }

    // Create directories
    fileSystem.mkdirs(path);

    fileSystem.close();

Code:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
 
public class HDFSClient {
    public HDFSClient() {
 
    }
 
    public void addFile(String source, String dest) throws IOException {
        Configuration conf = new Configuration();
 
        // Conf object will read the HDFS configuration parameters from these
        // XML files.
        conf.addResource(new Path("/opt/hadoop-0.20.0/conf/core-site.xml"));
        conf.addResource(new Path("/opt/hadoop-0.20.0/conf/hdfs-site.xml"));
 
        FileSystem fileSystem = FileSystem.get(conf);
 
        // Get the filename out of the file path
        String filename = source.substring(source.lastIndexOf('/') + 1,
            source.length());
 
        // Create the destination path including the filename.
        if (dest.charAt(dest.length() - 1) != '/') {
            dest = dest + "/" + filename;
        } else {
            dest = dest + filename;
        }
 
        // System.out.println("Adding file to " + destination);
 
        // Check if the file already exists
        Path path = new Path(dest);
        if (fileSystem.exists(path)) {
            System.out.println("File " + dest + " already exists");
            return;
        }
 
        // Create a new file and write data to it.
        FSDataOutputStream out = fileSystem.create(path);
        InputStream in = new BufferedInputStream(new FileInputStream(
            new File(source)));
 
        byte[] b = new byte[1024];
        int numBytes = 0;
        while ((numBytes = in.read(b)) > 0) {
            out.write(b, 0, numBytes);
        }
 
        // Close all the file descripters
        in.close();
        out.close();
        fileSystem.close();
    }
 
    public void readFile(String file) throws IOException {
        Configuration conf = new Configuration();
        conf.addResource(new Path("/opt/hadoop-0.20.0/conf/core-site.xml"));
 
        FileSystem fileSystem = FileSystem.get(conf);
 
        Path path = new Path(file);
        if (!fileSystem.exists(path)) {
            System.out.println("File " + file + " does not exists");
            return;
        }
 
        FSDataInputStream in = fileSystem.open(path);
 
        String filename = file.substring(file.lastIndexOf('/') + 1,
            file.length());
 
        OutputStream out = new BufferedOutputStream(new FileOutputStream(
            new File(filename)));
 
        byte[] b = new byte[1024];
        int numBytes = 0;
        while ((numBytes = in.read(b)) > 0) {
            out.write(b, 0, numBytes);
        }
 
        in.close();
        out.close();
        fileSystem.close();
    }
 
    public void deleteFile(String file) throws IOException {
        Configuration conf = new Configuration();
        conf.addResource(new Path("/opt/hadoop-0.20.0/conf/core-site.xml"));
 
        FileSystem fileSystem = FileSystem.get(conf);
 
        Path path = new Path(file);
        if (!fileSystem.exists(path)) {
            System.out.println("File " + file + " does not exists");
            return;
        }
 
        fileSystem.delete(new Path(file), true);
 
        fileSystem.close();
    }
 
    public void mkdir(String dir) throws IOException {
        Configuration conf = new Configuration();
        conf.addResource(new Path("/opt/hadoop-0.20.0/conf/core-site.xml"));
 
        FileSystem fileSystem = FileSystem.get(conf);
 
        Path path = new Path(dir);
        if (fileSystem.exists(path)) {
            System.out.println("Dir " + dir + " already not exists");
            return;
        }
 
        fileSystem.mkdirs(path);
 
        fileSystem.close();
    }
 
    public static void main(String[] args) throws IOException {
 
        if (args.length < 1) {
            System.out.println("Usage: hdfsclient add/read/delete/mkdir" +
                " [<local_path> <hdfs_path>]");
            System.exit(1);
        }
 
        HDFSClient client = new HDFSClient();
        if (args[0].equals("add")) {
            if (args.length < 3) {
                System.out.println("Usage: hdfsclient add <local_path> " +
                "<hdfs_path>");
                System.exit(1);
            }
 
            client.addFile(args[1], args[2]);
        } else if (args[0].equals("read")) {
            if (args.length < 2) {
                System.out.println("Usage: hdfsclient read <hdfs_path>");
                System.exit(1);
            }
 
            client.readFile(args[1]);
        } else if (args[0].equals("delete")) {
            if (args.length < 2) {
                System.out.println("Usage: hdfsclient delete <hdfs_path>");
                System.exit(1);
            }
 
            client.deleteFile(args[1]);
        } else if (args[0].equals("mkdir")) {
            if (args.length < 2) {
                System.out.println("Usage: hdfsclient mkdir <hdfs_path>");
                System.exit(1);
            }
 
            client.mkdir(args[1]);
        } else {  
            System.out.println("Usage: hdfsclient add/read/delete/mkdir" +
                " [<local_path> <hdfs_path>]");
            System.exit(1);
        }
 
        System.out.println("Done!");
    }
}

from：http://smallwildpig.iteye.com/blog/1705039   Java对HDFS的操作

http://blog.rajeevsharma.in/2009/06/using-hdfs-in-java-0200.html   Using HDFS in java (0.20.0)

Im-back
关注
专栏目录
Java——java.io.File类常用API（获取文件/目录详细信息，创建，删除，重命名，文件过滤器）
shiranjiu的博客
06-01 557
java.io.File类 API （1）获取文件或目录的详细信息 （2）获取文件或目录的路径 import java.io.File; import java.io.IOException; import org.junit.Test; public class Test3 { @Test public void test3() throws IOException { File file = new File("…/…/UI/UI设计class03.ppt"); // 不规范路径 System.ou
使用Java API操作HDFS
HMLieder的博客
11-28 1331
使用Java API操作HDFS
Java NIO 文件系统：FileSystem类
weixin_38569499的博客
12-13 5455
    FileSystem类提供文件系统的接口，是用于访问文件系统中的文件和其他对象的工厂类。 1、FileSystem实例的获取：     FileSystem定义了protected权限的构造器，所以用户不能通过new关键字直接构造FileSystem的实例。在FileSystems类中，定义了一系列获取FileSystem实例的方法：     1）getDefault()：返回默认的...
（八）java.nio.file.FileSystem类详解
OceanSky的专栏
02-23 8298
抽象类FileSystem简介： public abstract class FileSystem extends Object implements Closeable类 为文件系统提供一个接口，是对象访问文件系统中的文件和其它对象的工厂类。 默认的文件系统，通过调用FileSystems.getDefault 方法，提供访问java虚拟机的文件系统，FileSystems类定义方法创建文...
java 文件系统格式_java11教程--类FileSystems用法
weixin_42525106的博客
02-24 801
文件系统的工厂方法。此类定义getDefault方法以获取默认文件系统和工厂方法以构造其他类型的文件系统。第一次调用此类定义的任何方法都会导致加载默认值provider 。 由URI方案“file”标识的默认提供程序创建FileSystem ，该提供程序提供对Java虚拟机可访问的文件系统的访问。 如果加载或初始化默认提供程序的过程失败，则会引发未指定的错误。第一次调用installedProvi...
使用Java Api操作HDFS过程详解
08-25
使用Java API 操作 HDFS 过程详解 Java 应用程序接口（API）是 Java 语言提供的一组编程接口，用于访问...使用 Java API 操作 HDFS 需要配置好 Maven 环境，获取 FileSystem 对象，然后使用它来读取和写入 HDFS 文件。
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
本实验主要涵盖了大数据技术的基础，特别是如何在Linux环境下利用Java API对Hadoop分布式文件系统（HDFS）进行操作。实验涉及的主要步骤包括Eclipse的安装、Java项目的创建以及所需JAR包的添加。 首先，Eclipse是...
使用Java API操作HDFS分布式文件系统
最新发布
04-11
本文将深入探讨如何使用Java API来操作HDFS。 1. **HDFS基本概念** - **NameNode**：HDFS的主节点，负责管理文件系统的命名空间和元数据，如文件名、文件块信息等。 - **DataNode**：存储实际数据的从节点，执行...
大数据-使用Java API操作HDFS
m0_62492032的博客
12-07 2054
创建Maven项目 - HDFSDemo在pom.xml文件里添加hadoop和junit依赖 3、创建日志属性文件 在resources目录里创建log4j.properties文件 4、启动集群HDFS服务 在主节点上执行命令：start-dfs.sh在Hadoop WebUI界面查看在HDFS Shell里利用hdfs dfs -touchz命令可以创建时间戳文件创建net.hf.hdfs包，在包里创建CreateFileOnHDFS类 编写create1()方法 运行程序，查看结果利用Hadoop
filesystem JAVA实现
06-18
利用java实现了文件系统的基本功能，并实现了虚拟磁盘的功能，而且提供了测试代码以及测试文件，并附有一篇详细的介绍论文。
FileSystem:用Java从头开始编写的文件系统API的实现
05-05
文件系统 用Java从头开始编写的文件系统API的实现 首先编译类文件：filehandle.java FileBuffer.java FileServer.java fileSystemAPI.java FileSystemClientAPI.java testClient.java确保所有文件都在同一目录中。 首先通过在命令提示符下输入以下内容来运行服务器：java FileServer然后通过输入java testClient运行testClient.java FileSystemClientAPI.java支持fileSystemAPI.java接口。 FileSystemClientAPI.java使用FileBuffer.java从服务器缓存文件的1KB块。 当FileSystemClientAPI请求的偏移量超出缓存范围时，将更新缓存并返回正确的数据。
java进阶笔记之Paths与FileSystems
huitoukest的专栏
06-24 2542
简介 Paths中封装了活动Path的工具方法 , 其实现默认依赖于FileSystems , 是Path操作的增强工具类. 使用Paths时会使用FileSystem默认的文件分隔符操作. ps: 在win 系统中 同样支持 " / " 文件分隔符 . FileSystems FileSystem的工厂类, 主要是提供了系统常用的文件系统的快捷方法, 并且支持加载自定义的文件系统. 示例 import org.junit.Test; import java.io.IOException; i
filesystem java_java-HDFS 利用 fileSystem API实现对文件的操作
weixin_28975553的博客
02-16 373
1 HDFSfile.java2 /************************************************************3 Copyright(C),1988-1999,HuaweiTech.Co.,Ltd.4 FileName:HDFSfile.java5 Author:Light6 Version:version1.07 Date:20...
Java8 File / FileSystem（一） 源码解析
菜鸟进阶之路
06-25 4345
目录 1、separator /pathSeparatorChar 2、构造方法 3、isAbsolute /getAbsolutePath /getCanonicalPath 4、exists /isDirectory /isFile /isHidden /lastModified /length 5、createNewFile /createTempFile /delete /deleteOnExit 6、mkdir /mkdirs 7、list /list...
java filesystem_JDK不同操作系统的FileSystem（unix-like）上篇
weixin_34979632的博客
03-04 670
前言我们知道不同的操作系统有各自的文件系统，这些文件系统又存在很多差异，而Java 因为是跨平台的，所以它必须要统一处理这些不同平台文件系统之间的差异，才能往上提供统一的入口。关于FileSystem类JDK 里面抽象出了一个 FileSystem 来表示文件系统，不同的操作系统通过继承该类实现各自的文件系统，比如 Windows NT/2000 操作系统则为 WinNTFileSystem，而 ...
Java操作FileSystem的简单应用
08-20 2481
  看着书写了下通过java操作filesystem api对hdfs操作的简单操作，贴下代码： package com.lyq.study.api; import java.io.IOException; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FSDataOutputStre...
Hadoop：文件操作之Java接口(FileSystem类)
Jodness' Blogs
04-24 2606
目录 通过java.net.URL读取数据 通过FlieSystem API读写数据 读取数据 写入数据 新建目录 新建文件并写入 追加写入 一致模型 修改配置信息 通过FileStatus查询文件系统 查看文件系统信息 查看块信息 查看datanode信息 通过java.net.URL读取数据 让java程序能够识别hadoop的hdfs URL需要先通过FsUrl...
优雅的操作文件：java.nio.file 库介绍
Gefangenes的博客
05-12 1024
缺乏对现代文件系统的支持：只提供的基础的文件操作，不支持很多现代的文件系统API 不够直观：文件操作的 API 设计相对较为复杂和冗长，使用体验感很差对于大文件处理和并发性能不够：简单的 I/O 模型，没有充分利用现代硬件的性能优势，而且还有很多同步的问题但 Java 在后期版本中引入了库来提高 Java 对文件操作的能力。还增加的流的功能，似乎使得文件变成更好用了。所以本章，我们就来主要介绍Path 路径：Paths 模块和 Path 工具类介绍。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值