HDFS中PathFilter类对路径进行过滤

最新推荐文章于 2024-01-31 11:50:28 发布

tuiyidelongdidi

最新推荐文章于 2024-01-31 11:50:28 发布

阅读量531

点赞数

分类专栏： hadoop 文章标签：大数据

本文链接：https://blog.csdn.net/tuiyidelongdidi/article/details/84569166

版权

本文介绍了如何在HDFS中通过自定义PathFilter类来实现路径过滤功能，详细讲解了实现PathFilter接口的步骤，并展示了如何使用FileSystem的globStatus()方法对文件路径进行过滤操作，特别适用于处理作业的多路径输入场景。

摘要由CSDN通过智能技术生成

1、定义类实现PathFilter接口

package com.ru.hadoop.wordcount;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.PathFilter;

/**
 * 文件路径过滤
 * @author nange
 *
 */
public class MyFilePathFileter implements PathFilter{
	//需要读取文件名必须包含fileName字符串
	private String fileName;
	
	public MyFilePathFileter(String fileName){
		this.fileName = fileName;
	}

	/**
	 * @param path :文件路径 如：hdfs://localhost:9000/hdfs/test/wordcount/in/word.txt
	 */
	@Override
	public boolean accept(Path path) {
		boolean res = false;
		if(path.toString().indexOf(fileName) != -1){
			res = true;
		}
		System.out.println("path = " + path + "过滤结果：" + res);
		return res;
	}

}

2、使用FileSystema提供globStatus（）方法对文件路径进行过滤