hadoop 遍历hdfs文件夹列出其中所有的txt文件

import java.net.URI;
import java.util.ArrayList;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class FindTxts {
	public static void main(String[] args) throws Exception {
		ArrayList<String> pathList = findTxts("/home/data");
		for (int i = 0; i < pathList.size(); i++) {
			System.out.println(pathList.get(i));
		}
	}

	private static ArrayList<String> findTxts(String parentDir) throws Exception{
		ArrayList<String> pathList=new ArrayList<String>();
		Configuration conf=new Configuration();
		FileSystem fs=FileSystem.get(URI.create(parentDir),conf);
		Path path=new Path(parentDir);
		FileStatus status[]=fs.listStatus(path);
		String PathString=new String();
		for(int i = 0;i<status.length;i++){
			PathString=status[i].getPath().toString();
			if(status[i].isFile()&&PathString.endsWith(".txt")) pathList.add(PathString);	//判断PathString是否为parentDir/*.txt的形式
			else{
				if(status[i].isDirectory()) findTxts(PathString,pathList);		//如果status[i]代表的是一个目录,执行findTxts(String parentDir,ArrayList<String> pathList)方法
			}
		}
		
		return pathList;
	}

	private static void findTxts(String parentDir, ArrayList<String> pathList) throws Exception {
		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(URI.create(parentDir), conf);
		Path path = new Path(parentDir);
		FileStatus status[] = fs.listStatus(path);
		String PathString = new String();
		for(int i = 0;i<status.length;i++){
			PathString=status[i].getPath().toString();
			if(status[i].isFile()&&PathString.endsWith(".txt")) pathList.add(PathString);	//判断PathString是否为parentDir/*.txt的形式
			else{
				if(status[i].isDirectory()) findTxts(PathString,pathList);		//如果status[i]代表的是一个目录,执行findTxts(String parentDir,ArrayList<String> pathList)方法
			}
		}
		return;
	}
}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值