利用PathFilter上传多个本地的文件

最新推荐文章于 2022-08-17 07:15:00 发布

Hao Ming

最新推荐文章于 2022-08-17 07:15:00 发布

阅读量403

点赞数

分类专栏： hadoop 文章标签： hadoop PathFilter globStatus

本文链接：https://blog.csdn.net/qq_28335647/article/details/51038394

版权

该博客展示了如何利用Apache Hadoop的PathFilter接口和globStatus方法，从本地目录"D://demo/*"中筛选并上传所有.txt文件到HDFS的"hdfs://hadoop:9000/copyAll/"路径下。

摘要由CSDN通过智能技术生成

介绍了上传本地的多个文件，其中应用了PathFilter接口进行了文件的类型的过滤。上传特定的后缀的文件。

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.PathFilter;

public class CopyAll {
public static void main(String[] args) throws URISyntaxException, IOException {
//获取系统的配置
Configuration conf = new Configuration() ;
URI uri = new URI(“hdfs://hadoop:9000”) ;
//获取HDFS的文件系统配置
FileSystem fs = FileSystem.get(uri, conf) ;
//获取本地文件系统的配置
FileSystem local = FileSystem.getLocal(conf) ;
//创建一个本地文件目录的实例，设置为源目录集合
Path path1 = new Path(“D://demo/*”) ;
//创建一个HDFS的文件目录实例，为目的路径
Path dst = ne