JAVA API实现HDFS操作（二）操作函数

最新推荐文章于 2023-06-04 23:59:42 发布
最新推荐文章于 2023-06-04 23:59:42 发布
阅读量1.7k 收藏 5
点赞数
分类专栏： # hadoop 文章标签： hdfs java hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/what_how_why2020/article/details/121337854
版权

说明：在IDEA集成环境中利用JAVA API实现目录的创建、文件的创建、文件的上传和下载、文件的查看、文件删除、文件的编辑等操作。以下代码均创建在my.dfs包下

创建文件夹

在hdfs系统的根目录下创建文件夹 /hdfstest
验证程序执行结果：

$hadoop fs -ls -R /

package my.hdfs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
/**
在hdfs系统的根目录下创建文件夹 /hdfstest
*/
public class MakeDir {
    public static void main(String[] args) throws IOException, URISyntaxException {
        // 创建 Configuration 对象
        Configuration conf = new Configuration();

        // FileSystem默认的端口号:9000
        String hdfsPath = "hdfs://localhost:9000";

        // 获取 FileSystem 对象
        FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);
        String newDir = "/hdfstest";
        
		// 如果创建成功将返回true
        boolean result = hdfs.mkdirs(new Path(newDir));

        if (result) {
            System.out.println("Success!");
        } else {
            System.out.println("Failed!");
        }
    }
}

迭代文件夹获取文件信息

设置文件夹，迭代获取其下的文件和文件信息（权限、所有者、所在组、文件所在路径）

package my.hdfs;

import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;


public class IteratorListFiles {
    public static void main(String[] args) throws IOException {
        FileSystem hdfs = FileSystem.get(URI.create("hdfs://localhost:9000/"), new Configuration());

        String watchHDFS = "/";
        iteratorListFile(hdfs, new Path(watchHDFS));
    }

    public static void iteratorListFile(FileSystem hdfs, Path path) throws IOException {

        FileStatus[] files = hdfs.listStatus(path);

        for (FileStatus file: files) {
            if (file.isDirectory()) {
                System.out.println("dir:" + file.getPermission() + " " + file.getOwner() + " " + file.getGroup() + " " + file.getPath());
            } else if(file.isFile()){
                System.out.println("file:" + file.getPermission() + " " + file.getOwner() + " " + file.getGroup() + " " + file.getPath());
            }
        }
    }
}

操作文件

创建、重命名、删除文件、判断文件是否存在

package my.hdfs;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
创建、重命名、删除文件、判断文件是否存在、迭代文件夹获取其下的文件和文件夹信息
*/
public class OperateFile {
    public static void main(String[] args) throws IOException, URISyntaxException {

        // 创建 Configuration 对象
        Configuration conf = new Configuration();
        // FileSystem默认的端口号:9000
        String hdfsPath = "hdfs://localhost:9000";
        // 获取 FileSystem 对象
        FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);

        // 1. 迭代 /hdfstest 文件夹下所有的文件文件
        String watchHDFS = "/hdfstest";
        FileStatus[] files = hdfs.listStatus(new Path(watchHDFS));
        for (FileStatus file: files){
            if (file.isFile()) {
                System.out.println("file:" + file.getPermission() + " " + file.getOwner() + " " + file.getGroup() + " " + file.getPath());
            }
        }

        System.out.println("----------Operate file----------");

        // 2. create file。如果文件所在的文件夹不存在，那么会自动创建文件夹
        String filePath = "/hdfstest/src_data";
        FSDataOutputStream create = hdfs.create(new Path(filePath));
        System.out.println("create file successfully!" + create);


        // 3. 重命名 hdfs.rename() src_data -> dst_data
        Path src = new Path("/hdfstest/src_data");
        Path dst = new Path("/hdfstest/dst_data");
        System.out.println("rename file successfully?" + hdfs.rename(src, dst));
        // 判断文件是否存在 hdfs.exist() /hdfstest/src_data
        System.out.println("after rename,src_data is still exist?" + hdfs.exists(src));


        // 4. 删除文件 hdfs.delete() dst_data
        hdfs.delete(dst, true);
        // 判断文件是否存在 /hdfstest/dst_data
        System.out.println("after delete(), dst_data is still exist?" + hdfs.exists(dst));


        System.out.println("----------Operate file----------");


        // 5. 迭代 /hdfstest 文件夹下所有的文件文件
        for (FileStatus file: files){
            if (file.isFile()) {
                System.out.println("file:" + file.getPermission() + " " + file.getOwner() + " " + file.getGroup() + " " + file.getPath());
            }
        }
    }
}

写入文件信息

在HDFS文件系统中创建/hdfstest/writefile文件，在文件中写入内容hello world hello data!

验证程序执行结果：

$hadoop fs -ls -R /hdfstest
$hadoop fs -cat /hdfstest/writefile

api实现代码：

package my.hdfs;

import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.Configuration;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/*
在HDFS文件系统中创建 /hdfstest/writefile 文件并在文件中写入内容 hello world hello data!
*/
public class WriteFile{
    public static void main(String[] args) throws IOException, URISyntaxException {

        // FileSystem.get(Configuration conf) 使用配置文件来获取文件系统， 配置文件conf/core-site.xml，若没有指定则返回local file system. （原来是这样）
        // FileSystem.get(URI uri, Configuration conf) 根据uri和conf来确定文件系统
        // 若 hdfs系统的uri 写错，则会默认为local文件系统，从当前java的Project文件所在的位置
        FileSystem hdfs = FileSystem.get(new URI("hdfs//localhost:9000"), new Configuration());

        String filePath = "/hdfstest/writefile";

        FSDataOutputStream create = hdfs.create(new Path(filePath));
        System.out.println("Step 1 Finish!");

        String sayHi = "hello world hello data!";
        byte[] buff = sayHi.getBytes();
        create.write(buff, 0, buff.length);

        create.close();
        System.out.println("Step 2 Finish!");
    }
}

合并文件内容

首先进入本地/data/hadoop目录下，将该目录下的所有文件删除（此时要求/data/hadoop中必须全是文件，不能有目录）。

$cd /data/hadoop
$sudo rm -r /data/hadoop/*

然后在该目录下新建两文件，分别命名为file1、file2。

$touch file1
$touch file2

向 file1 和 file2 中，分别输入内容如下

$echo "hello file1" > file1
$echo "hello file2" > file2

在 my.hdfs 包下，新建类 PutMerge，将 Linux 本地文件夹/data/hadoop/下的所有文件，上传到HDFS上并合并成一个文件/hdfstest/mergefile

验证程序执行结果：

$hadoop fs -ls /hdfstest

api代码实现

package my.hdfs;

import org.apache.hadoop.fs.*;
import org.apache.hadoop.conf.Configuration;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
将/data/hadoop下的所有文件上传至HDFS并合并文件内容
*/

public class PutMerge{
    public static void main(String[] args) throws IOException, URISyntaxException {
        Configuration conf = new Configuration();
        FileSystem hdfs = FileSystem.get(new URI("hdfs://localhost:9000"), conf);

        FileSystem local = FileSystem.getLocal(conf);

        String from_LinuxDir = "/data/hadoop/";
        String to_HDFS = "/hdfstest/mergefile";

        FileStatus[] inputFiles = local.listStatus(new Path(from_LinuxDir));

        FSDataOutputStream out = hdfs.create(new Path(to_HDFS));
        for (FileStatus file: inputFiles) {
            FSDataInputStream in = local.open(file.getPath());
            byte[] buffer = new byte[256];
            int bytesRead = 0;
            while ((bytesRead = in.read(buffer)) > 0) {
                out.write(buffer, 0, bytesRead);   
            }
            in.close();
        }
        System.out.println("Finish!");
    }
}

文件上传与下载

HDFS文件下载至本地

  1. 在/data/hadoop/下创建目录 copytolocal。
$mkdir /data/hadoop/copytolocal
  1. 在my.hdfs包下，创建类CopyToLocalFile，程序功能是将 HDFS 文件系统上的文件/hdfstest/sample_data，下载到本地/data/hadoop/copytolocal
  2. 验证程序执行结果：
$cd /data/hadoop/copytolocal
$ls

api实现代码：

package my.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
将 HDFS 文件系统中的文件下载到本地 Linux 系统
*/
public class CopyToLocalFile{
    public static void main(String[] args) throws URISyntaxException, IOException {
        Configuration conf = new Configuration();
        String hdfsPath = "hdfs://localhost:9000";
        FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);
        
        String from_HDFS = "/hdfstest/sample_data";
        String to_Local = "/data/hadoop/copytolocal";

        hdfs.copyToLocalFile(false, new Path(from_HDFS), new Path(to_Local));
        System.out.println("Finish!");
    }
}

/hdfstest/sample_data等价于hdfs://localhost:9000/hdfstest/sample_data

若删除/，则hdfstest/sample_data表示：？

若无法将文件移至/data/hadoop/copytolocal，即为权限不够，终端输入：chomd -R 777 /data/hadoop/copytolocal

本地文件上传至HDFS

  1. 在 /data/hadoop 下创建 sample_data 文件
$cd /data/hadoop
$touch sample_data
  1. sample_data 文件中写入hello world
$echo "hello file1" > sample_data
  1. 在 my.hdfs 包下，创建类``CopyFromLocalFile.java，将本地 Linux 操作系统上的文件/data/hadoop/sample_data，上传到 HDFS 文件系统的/hdfstest` 目录下。
  2. 验证程序执行结果：
$hadoop fs -ls -R /

api实现代码：

package my.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/*
将本地文件上传到 HDFS 文件系统
*/
public class CopyFromLocalFile{
    public static void main(String[] args) throws IOException, URISyntaxException {
        Configuration conf = new Configuration();
        String hdfsPath = "hdfs://localhost:9000";
        FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);

        String from_Linux = "/data/hadoop/sample_data";
        String to_HDFS = "/hdfstest";

        hdfs.copyFromLocalFile(new Path(from_Linux), new Path(to_HDFS));
        System.out.println("Finish!");
    }
}

文件块信息

在 my.hdfs 包下，新建类 LocateFile，程序功能是查看 HDFS 文件系统上，文件/hdfstest/sample_data的文件块信息

package my.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class LocateFile{
    public static void main(String[] args) throws URISyntaxException, IOException {
        FileSystem hdfs = FileSystem.get(new URI("hdfs://localhost:9000"), new Configuration());
        
        Path file = new Path("/hdfstest/sample_data");
        FileStatus fileStatus = hdfs.getFileStatus(file);

        BlockLocation[] location = hdfs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());

        for (BlockLocation block: location) {
            String[] hosts = block.getHosts();
            for (String host: hosts){
                System.out.println("block:" + block + "host:" + host);
            }
        }
    }
}

获取FileSystem对象，详见：JAVA API实现HDFS操作（一）获取FileSystem

用Java API实现HDFS操作过程中的常见问题，详见：用Java API实现HDFS操作（三）问题汇总

思想在拧紧
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop的基础操作
qq_44715376的博客
05-25 3357
HDFS是hadoop的分布式文件系统，它的设计目标是能够在普通硬件上运行，并且能够处理大量的数据。 HDFS采用了主从架构，其中有一个NameNode和多个DataNode。 NameNode负责管理文件系统的命名空间和客户端的访问，而DataNode则负责存储实际的数据块。 HDFS的基本操作包括文件的上传、下载、删除、重命名等。
php通过shell调用Hadoop的方法
lzq123_1的专栏
10-28 2421
1.php代码(index.php) body{background-color:red} --> --> --> <?php header('Content-type: text/html; charset=UTF8'); #phpinfo(); $jiaoben = $_GET['jiaoben']; echo "执行Hadoop的log信息："; $ret= syst
Hadoop集群搭建
weixin_42061487的博客
08-19 431
集群Linux环境搭建 注意事项 确保任务管理器中的服务vmware开启状态 确认好VmWare生成的网关地址 确认VmNet8网卡已经配置好的IP地址和DNS 在Vmware中安装虚拟机并将虚拟机复制三份，放到大小至少有100G的硬盘中。并在虚拟机中打开 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vEOJ0sgD-1597848654945)(https://gitee.com/ChenbinRR/images/raw/master/typora-
hadoop 目录给某个用户授权
liyonghui123的专栏
01-07 2722
    首先在hdfs上创建/flume目录：hadoop fs -mkdir /flume 给该目录授权给flume用户和组：hadoop fs -chown -R flume:flume /flume
JAVA代码操作HDFS
凉茶铺的博客
09-26 5592
介绍了如何通过Java代码方式来操作HDFS
HDFS的常用操作
what_how_why2020的博客
10-19 650
说明：本博客涉及HDFS 的常用操作
HDFSJavaAPI.tar.gz_HDFS JAVA API_hdfs
09-23
8. **权限和访问控制**：HDFS支持POSIX样式的权限模型，Java API提供了设置和检查文件和目录权限的函数。 9. **安全性**：在安全模式下，HDFS支持Kerberos认证，Java API提供了进行安全身份验证的机制。 10. **...
java操作hdfs依赖包
02-19
Java操作HDFS（Hadoop Distributed File System）是大数据处理中常见的任务，这通常涉及到使用Hadoop的Java API。为了在Java环境中与HDFS进行交互，你需要包含一系列的依赖包，这些包提供了必要的功能来读取、写入和...
c 操作hdfs
08-01
在`main.c`文件中，你可以看到如何使用这些函数来实现HDFS的读写操作。 5. 测试和运行：完成编程后，使用`make`命令编译程序。如果一切配置正确，你会得到一个可执行文件，可以通过命令行参数指定HDFS路径进行测试...
java 从hadoop hdfs读取文件 进行groupby并显示为条形图
05-21
通过以上步骤，我们可以构建一个完整的Java应用，实现从Hadoop HDFS读取数据，执行GROUP BY操作，并以条形图形式展示统计结果。这样的应用对于大数据环境下的数据分析和可视化工具有着重要的价值。
第二次试验-HBase1
08-08
在这个实验中，我们主要关注HBase的基本操作，包括使用Shell命令和Java API。 首先，我们需要理解HBase在Hadoop架构中的位置。Hadoop是用于处理和存储大量数据的开源框架，而HBase则是在HDFS（Hadoop Distributed ...
记录Java读取hdfs上的文件全过程
最新发布
一名想当程序员的人
06-04 2212
跟着白哥学Java，今天就来分享一下Java如何上传文件到hdfs上面
java 读取hdfs上的文件内容
Alex的博客
12-20 8170
java 读取hdfs上的文件内容
通过Java代码对HDFS进行读取操作
bujiujie8的博客
01-20 5018
这里主要是利用Hadoop提供的API来操作,在本地编写代码,操作集群上的HDFS. 本篇介绍的是若干从HDFS读取文件的操作. 工具:IntelliJ IDEA Community Edition 2018.1.3   1.使用java.net.URL 使用此方法的话,需要进行一些其他操作.此处读取的是hdfs-site.xml这个配置文件,取出前100字节并输出. import ...
4.4使用Java API操作HDFS
qq_64035147的博客
12-14 381
4.4
JAVA实现HDFS文件的读写
atmospheric的博客
04-23 7839
JAVA实现HDFS文件的读写
使用Java API操作HDFS（二）
weixin_64270471的博客
12-14 889
接上节创建hadoop.txt能否事先判断文件是否存在呢？我们去查看Hadoop FileSystem API文档查看方法编写create2()方法，事先判断文件是否存在运行程序故意让HDFS进入安全模式（只能读，不能写），看看会出现什么状况？删除已经创建的此时，再运行程序，查看结果，抛出异常下面，修改程序，来处理这个可能会抛出的安全模式异常运行程序，查看结果（虽然我们捕获了安全模式异常，但还是有一点系统抛出的异常信息）再运行程序，查看效果。
使用java API 操作
m0_63560941的博客
11-28 1153
了解HDFS Java API掌握使用Java API操作HDFS
Java API操作HDFS写入，读取，重命名，显示文件列表等
qq_65274143的博客
12-01 6335
Java API操作HDFS写入，读取，重命名，显示文件列表等
4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）
05-29
本文主要介绍了如何在Java中使用HDFS API进行基础操作，并结合JUnit进行单元测试，同时涵盖了在高可用环境（Hadoop HA）下的配置。作者首先从Maven项目的构建工具pom.xml开始，明确了所需的依赖项，确保项目的正确...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值