使用文件模式,实现多文件上传至HDFS

本文介绍如何利用Hadoop的PathFilter和globStatus()方法,通过通配符匹配多个文件并过滤非txt格式文件,实现多文件从本地上传至HDFS。详细步骤包括定义RegexAcceptPathFilter,使用Java API进行文件上传,以及运行和查看结果的过程。
摘要由CSDN通过智能技术生成

文件模式:

在某个单一操作中处理一系列文件。例如一个日志处理的MapReduce作业可能要分析一个月的日志量。如果一个文件一个文件或者一个目录一个目录的声明那就太麻烦了,可以使用通配符(wild card)来匹配多个文件(这个操作也叫做globbing)。
Hadoop提供了两种方法来处理文件组:

public FileStatus[] globStatus(Path pathPattern) throws IOException;
public FileStatus[] globStatus(Path pathPattern, PathFilter filter) throws IOException;

PathFilter

FileSystem的listStatus()和globStatus()方法提供了一个可选参数:PathFilter——它允许一些更细化的控制匹配:例如排除某个特定文件。

package org.apache.hadoop.fs;
public interface PathFilter 
{
   
    boolean accept(Path path);
}

hadoop的匹配符

这里写图片描述

这里写图片描述

描述:

利用通配符和PathFilter 对象,将本地多种格式的文件上传至 HDFS文件系统,并过滤掉 txt文本格式以外的文件。

数据:

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值