Mapreduce如何获取读取文件夹下文件的名字

 需要注意的导包的时候导这两个包

                    import org.apache.hadoop.mapreduce.InputSplit;

                    import org.apache.hadoop.mapreduce.lib.input.FileSplit;
--------------------- 
作者:闻雷
来源:CSDN 
原文:https://blog.csdn.net/qq_41950069/article/details/80446912 
 

    只需要获得文件的名字:

     InputSplit inputSplit=(InputSplit)context.getInputSplit();
 
    String filename=((FileSplit)inputSplit).getPath().getName();
 

简化后:String filename=((FileSplit)context.getInputSplit()).getPath().getName();
    System.out.println(filename);

如果需要获得在hdfs上的绝对路径,可以用以下代码实现:

String filepath = ((FileSplit)context.getInputSplit()).getPath().toString();
  • 1

获取文件名的大致流程为:Context(map函数里) → InputSplit → FileSplit → Path → String(file name)。

 

 

在Hadoop的HDFS(Hadoop Distributed File System)中,查看文件夹下的所有文件内容通常需要逐个文件打开并读取。由于HDFS的设计不适合在线浏览大量小文件,你可以采取以下几种方式: 1. **命令行工具**: - 使用`hdfs dfs -cat <path/to/directory>/*`命令,这里`<path/to/directory>`是你想要查看的目录路径,星号通配符(*)表示该目录下的所有文件。这将把所有文件的内容合并在一起输出到控制台。 2. **编程接口**: - 如果你正在使用Java或其他支持HDFS的编程语言,比如PySpark,可以使用`FSDataInputStream`或相应的库函数读取每个文件。例如,在Java中,你可以遍历目录的`FileStatus`列表,然后对每个文件创建一个新的流来读取内容。 ```java Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); List<FileStatus> fileStatuses = fs.listStatus(new Path("<path/to/directory>")); for (FileStatus status : fileStatuses) { if (status.isDir()) continue; FSDataInputStream in = fs.open(status.getPath()); try { byte[] buffer = new byte[4096]; int bytesRead; while ((bytesRead = in.read(buffer)) != -1) { // 处理读取的数据 } } finally { in.close(); } } ``` 3. **批处理作业**: - 如果文件太多,不适合一次性查看,你可以考虑编写一个Hadoop MapReduce或Spark作业,将文件分块处理和展示。 请记住,直接在HDFS查看大文件可能会消耗大量内存和网络资源,因此最好只针对小文件或者有计划地分批查看。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值