使用Java进行HDFS操作

最新推荐文章于 2023-09-05 17:02:50 发布
最新推荐文章于 2023-09-05 17:02:50 发布
阅读量1.1k 收藏 6
点赞数
分类专栏： hadoop 文章标签： hdfs java hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40744423/article/details/120955728
版权

目录

创建新目录

package hdfs_pro;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class CreateDir {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(conf);
            String dirPath = args[0];
            Path hdfsPath = new Path(dirPath);  
        if(fs.mkdirs(hdfsPath)){
                System.out.println("Directory "+ dirPath +" has been created successfully!");
        }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

判断文件夹是否存在

package hdfs_pro;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class DirExist {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(conf);
            String dirName = args[0];
            if(fs.exists(new Path(dirName ))) {
                System.out.println("Directory Exists!");
            } else {
                  System.out.println("Directory not Exists!");
            }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

显示一个指定文件夹下所有文件

package hdfs_pro;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
public class ListFiles {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(conf);
            String filePath = args[0];
            Path srcPath = new Path(filePath);
            FileStatus[] stats = fs.listStatus(srcPath);
            Path[] paths = FileUtil.stat2Paths(stats);
            for(Path p : paths)
                  System.out.println(p.getName());
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

删除目录

package hdfs_pro;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class DeleteDir {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(conf);
            String dirPath = args[0];
        Path hdfsPath = new Path(dirPath);  
        if(fs.delete(hdfsPath,true)){
            System.out.println("Directory "+ dirPath +" has been deleted successfully!");
        }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

创建新文件

package hdfs_pro;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class CreateFile {
    public static void main(String[] args) {
        try {
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        String filePath = args[0];
          Path hdfsPath = new Path(filePath);  
          fs.create(hdfsPath);
        }catch(Exception e) {
              e.printStackTrace();
        }
    }
}

判断文件是否存在

package hdfs_pro;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class FileExist {
    public static void main(String[] args) {
        try {
              Configuration conf = new Configuration();
              FileSystem fs = FileSystem.get(conf);
              String fileName = args[0];
              if(fs.exists(new Path(fileName))) {
                    System.out.println("File Exists!");
              } else {
                    System.out.println("File not Exists!");
              }
        }catch(Exception e) {
              e.printStackTrace();
        }
    }
}

从本地拷贝文件到新创建的目录中

package hdfs_pro;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;

public class CopyFileToFolder{
    public static void main(String[] args) {
		try {
			Configuration conf = new Configuration();
	        FileSystem fs = FileSystem.get(conf);
	        String source = args[0];
	        String target = args[1];
	        Path sourcePath = new Path(source);  
			Path targetPath = new Path(target);  
			
			if(fs.mkdirs(targetPath)){
                System.out.println("Directory "+ targetPath +" has been created successfully!");
			}
			FileUtil.copy(fs, sourcePath, fs, targetPath, true, conf);

        }catch(Exception e) {
            e.printStackTrace();
    	}
    }
}

将HDFS中指定文件的内容输出到终端中

创建新文件

package hdfs_pro;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class CreateFile {
    public static void main(String[] args) {
        try {
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        String filePath = args[0];
          Path hdfsPath = new Path(filePath);  
          fs.create(hdfsPath);
        }catch(Exception e) {
              e.printStackTrace();
        }
    }
}

写文件

package hdfs_pro;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class WriteFile {
    public static void main(String[] args) {
        try {
              Configuration conf = new Configuration();
              FileSystem fs = FileSystem.get(conf);
              String filePath = args[0];
              Path srcPath = new Path(filePath);
              FSDataOutputStream os = fs.create(srcPath,true,1024,(short)1,(long)(1<<26));
              String str = "Hello, this is a sentence that should be written into the file.\n";
              os.write(str.getBytes());
              os.flush();
              os.close();
            
              os = fs.append(srcPath);
              str = "Hello, this is another sentence that should be written into the file.\n";
              os.write(str.getBytes());
              os.flush();
              os.close();
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

读文件到终端

package hdfs_pro;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class ReadFile {
    public static void main(String[] args) {
        try {
              Configuration conf = new Configuration();
              FileSystem fs = FileSystem.get(conf);
              String filePath = args[0];
              Path srcPath = new Path(filePath);
            
              FSDataInputStream is = fs.open(srcPath);
              while(true) {
                    String line = is.readLine();
                    if(line == null) {
                          break;
                    }
                    System.out.println(line);
            }
                is.close();
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

完成指定目录下指定类型文件的合并

package hdfs_pro;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
public class ListFiles {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(conf);
            String filePath = args[0];
            Path srcPath = new Path(filePath);
            FileStatus[] stats = fs.listStatus(srcPath);
            Path[] paths = FileUtil.stat2Paths(stats);
            for(Path p : paths)
                  System.out.println(p.getName());
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

将文件从源路径移动到目的路径

package hdfs_pro;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;


public class MoveFile {
	public static void main(String[] args) {
		try {
			Configuration conf = new Configuration();
			FileSystem fs = FileSystem.get(conf);
			String source= args[0];
			String target= args[1];
			Path sourcePath = new Path(source);  
			Path targetPath = new Path(target);  
            if (!fs.exists(targetPath)){
                fs.rename(sourcePath,targetPath); 
            }else {
                System.out.println("File Exists!");
            }

        }catch(Exception e) {
            e.printStackTrace();
    	}
	}
}

删除文件

package hdfs_pro;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class DeleteFile {
    public static void main(String[] args) {
        try {
              Configuration conf = new Configuration();
              FileSystem fs = FileSystem.get(conf);
              String filePath = args[0];
          Path hdfsPath = new Path(filePath);  
          if(fs.delete(hdfsPath,false)){
              System.out.println("File "+ filePath +" has been deleted successfully!");
          }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}
wukurua
关注
专栏目录
Java操作hdfs文件系统
congge
12-26 1万+
前言 在上一篇，我们通过命令行的使用掌握了如何基于hdfs的命令对hdfs文件系统的常用操作，本篇将分享如何基于JavaAPI 操作hdfs文件系统 前置准备 默认服务器上的hadoop服务已经启动 本地如果是windows环境，需要本地配置下hadoop的环境变量 本地配置hadoop的环境变量 1、官网下载一个与服务器上的hadoop同样的版本包 2、将这个路径配置到系统变量中 编码环境前置准备 使用idea快速构建一个springoot的工程 1、导入maven依赖 <depende
java 读写 hdfs文件系统例子(包括权限设置)
04-10
java 读写 hdfs文件系统例子(包括权限设置);java 读写 hdfs文件系统例子(包括权限设置)java 读写 hdfs文件系统例子(包括权限设置)
Java操作HDFS
qwer2001727的博客
04-24 1945
准备工作: Hadoop环境变量配置 jdk环境变量配置 不详细演讲 下面直接演示代码:(如下) import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; import org.junit.Before; import java.io.File; import java.io.FileOutputStream; import ja
Java操作Hdfs
CJunZero的博客
04-24 1543
java代码 package cn.itcast.hadoop.hdfs; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import
在Java中操作HDFS
qq_43222167的博客
07-12 244
导入你Hadoop相应的jar包 可以在这里查看:https://repository.cloudera.com/artifactory/cloudera-repos/ 根据你Hadoop的依赖一步一步寻找,例如我这里Hadoop就是org目录下的apache…,一步一步找到即可 <dependencies> <dependency> <groupId>org.apache.logging.log4j</groupId&gt
使用Java Api操作HDFS过程详解
08-25
使用Java API 操作 HDFS 过程详解 Java 应用程序接口（API）是 Java 语言提供的一组编程接口，用于访问和操作 Hadoop 分布式文件系统（HDFS）。本文将详细介绍使用 Java API 操作 HDFS 的过程，并提供了一个示例...
JAVA操作HDFS案例的简单实现
08-29
JAVA操作HDFS是指使用JAVA语言来操作HDFS文件系统，实现文件的上传、下载、删除、创建目录等基本操作。 2. HDFS的基本操作 HDFS提供了多种基本操作，包括文件上传、下载、删除、创建目录等。这些操作都是通过HDFS...
【Java-HDFS】使用Java操作HDFS获取HDFS指定目录下的数据量大小
最新发布
weixin_53543905的博客
09-05 320
【Java-HDFS】使用Java操作HDFS获取HDFS指定目录下的数据量大小
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
在实际编程中，我们通常会创建一个Java类，导入Hadoop的相关库，然后使用FileSystem类和Path类等来执行HDFS操作。例如，使用`FileSystem.get(conf)`获取FileSystem实例，其中conf是包含HDFS配置信息的Configuration...
JAVA操作HDFS
爱编程
07-13 274
HDFS介绍 HDFS的全称是Hadoop Distributed File System ，Hadoop的 分布式 文件 系统 它是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储 空间 其实分布式文件管理系统有很多，HDFS只是其中一种实现而已 还有 GFS(谷歌的)、TFS(淘宝的)、S3(亚马逊的) 为什么会有多种分布式文件系统呢？这样不是重复造轮子吗？ 不是的，因为不同的分布式文件系统的特点是不一样的，HDFS是一种适合大文件存储的分布式文件系
使用java操作hdfs
04-01
要使用Java操作HDFS，您需要使用Hadoop的Java API。以下是一些常见的HDFS操作： 1. 创建一个Hadoop配置对象： ```java ...您可以使用Java API进行更多的操作，例如复制、移动、重命名文件或目录等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值