如何在mapreduce方法中获取当前使用文件（get file name）

最新推荐文章于 2022-04-02 18:27:08 发布
最新推荐文章于 2022-04-02 18:27:08 发布
阅读量993 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lookqlp/article/details/52096166
版权
使用的0.20.2版本hadoop
查了许久，如何在map方法中获取当前数据块所在的文件名，方法如下：
//获取文件名
InputSplit inputSplit=(InputSplit)context.getInputSplit();
String filename=((FileSplit)inputSplit).getPath().getName();
空中的鱼1987
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在云中使用MapReduce和负载平衡
03-02
：云计算旨在通过Internet提供随需应变的资源或服务，通常视数据中心的规模和可靠性水平而定。MapReduce是一个为并行处理大量数据而设计的编程模型，它将工作划分为一个独立任务组成云计算旨在通过Internet提供随需应变的资源或服务，通常视数据中心的规模和可靠性水平而定。MapReduce是一个为并行处理大量数据而设计的编程模型，它将工作划分为一个独立任务组成的集合。它是一种并行编程，由某种功能随需应变的云（如Google的BigTable、Hadoop和Sector）提供支持。在本文中，将使用遵从RandomizedHydrodynamicLoadBalancing技术（下文将详细介
21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件
05-29
21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件 网址：https://blog.csdn.net/chenwewi520feng/article/details/130455817 本文介绍使用MapReduce读写文件，包括：读写SequenceFile、MapFile、ORCFile和ParquetFile文件。 本文前提：hadoop环境可正常使用。pom.xml文件内容参考本专栏中的其他文章内容。 本文分为四部分，即MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件。 下篇文章介绍压缩算法的使用。 关于本文的前置内容介绍，参考链接hdfs的文件系统与压缩算法 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/chenwewi520feng/article/details/13
MongoDB中MapReduce的使用方法详解
09-09
MapReduce应该算是MongoDB操作中比较复杂的了，下面这篇文章主要给大家介绍了关于MongoDB中MapReduce使用的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起看看吧。
MapReduce程序获取文件名
momo的专栏
12-29 1094
在maper类中 Path path = ((FileSplit) context.getInputSplit()).getPath() .getParent();  String fileName = path.getParent().toString(); 引用类为  import org.apache.hadoop.fs.Path; import org.apache.
MapReduce程序中如何获取文件名
weixin_42619750的博客
09-20 1080
在maper类中 Path path = ((FileSplit) context.getInputSplit()).getPath() .getParent(); String fileName = path.getParent().toString(); 引用类为 import org.apache.hadoop.fs.Path; import org.apache.hadoop.ma...
Mapreduce中获取输入文件名及路径的方法
YF_Li123的博客
04-15 3389
在map函数中想要获取当前split所读取的文件名，方法如下： 1 不通用方法 1 如果读入的文件类型为 TextInputFormat，则获取文件名如下： String filePath = context.getConfiguration().get("mapreduce.map.input.file"); Path tmpFilePath = new Path(filePath)...
Spark处理hdfs文件时获取文件名
upupfeng的博客
04-02 2567
Spark处理hdfs文件时，获取所处理文件的文件名
Mapreduce如何获取读取文件夹下文件的名字
wjr_wl的博客
10-17 1605
 需要注意的导包的时候导这两个包                     import org.apache.hadoop.mapreduce.InputSplit;                     import org.apache.hadoop.mapreduce.lib.input.FileSplit; ---------------------  作者：闻雷 来源：CSDN  ...
Hadoop＿Map中获取当前spilt文件名
笨字第1号
07-18 1万+
有时候需要在Map类中的map函数中获取当前split所读取的文件名。 在旧版mapred下面实现方法如下： // 获得输入文件的路径名 String path=((FileSplit)reporter.getInputSplit()).getPath().toString(); //使用Reporter reporter对象来获取，在新版mapreduce中， Reporter r
hadoop 代码中获取文件名
bitcarmanlee的博客
06-22 1万+
在hadoop的MR相关代码中，经常需要获得mapper输入的文件名，从而针对不同的文件进行不同的操作。下面简单地介绍一下如果在MR代码中获取文件名1.在streaming中获取文件名实际中经常用python开发streaming程序，在python代码中可以用如下方式获得文件名：import osfilepath = os.environ["mapreduce_map_input_file"]通过
hadoop_mapreduce_Map中获取文件名
子龙修仙的博客
05-19 1321
Mapreduce的map输入的是文件的每一行值，即V1为文件的行。hadoop jar xxx.jar /input /output当input为一个文件名时，v1为文件的行；当input为一个目录时，v1为此目录下各文件的行。 因此在某些情况下在map中获取v1对应的文件名就很有必要了，获取方法：//路径：/myindexdata/data01.txtString path = ((FileS...
mapreduce获取输入文件名、输出路径
little-bear的博客
03-23 3201
1。 获得输入文件名 String input= context.getInputSplit();     context 就是 Context对象 2。获得输出路径 String outPutPath = context.getConfiguration().get("mapred.output.dir");
MapReduce一次读取多个文件（获取数据所在文件的名称)
登峰造极胡子球手
11-19 3522
关键代码： 在Map代码中添加一下代码，可以获取每条数据所属的文件名 查看Hadoop支持的压缩格式 //获取所属的文件名称 FileSplit inputSplit = (FileSplit)context.getInputSplit(); String Filename = inputSplit.getPath().getName(); //FIlename是文件名称 ...
MapReduce的shuffle过程详解（分片、分区、合并、归并。。。）
热门推荐
ASN_forever的博客
07-29 5万+
shuffle过程 shuffle概念 shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工作阶段是map输出后到reduce接收前，具体可以分为map端和reduce端前后两...
mapreduce获取读取文件的名字
qq_45255036的博客
02-11 342
Path path = ((FileSplit) context.getInputSplit()).getPath(); String name = path.getName(); System.out.println(name+"---------------------"); String fileName = path.getParent().toString(); Syst...
mapreduce的中间自定义阶段小述
bikeSinger的博客
08-22 216
MapReduce运行模式 集群运行模式 1.将mapReduce程序提交给yarn集群,分发到很多节点上并发执行 2.处理的数据和输出结果应该位于HDFS文件系统 3.提交集群的实现步骤:将程序打成jar包,并上传,然后在集群上用hadoop命令启动 本地运行模式 1.MapReduce程序是在本地以单进程的形式运行 2.处理的数据及输出结果在本地文件系统 即在TextputFo...
spark读取当前处理数据的文件名
兜里有包包
04-09 4930
参考 http://hanyingjun318.iteye.com/blog/2277512 环境 idea；sbt； hadoop 在hadoop中读取文件名 InputSplit inputSplit=(InputSplit)context.getInputSplit(); String filename=((FileSplit)inputSplit).getPa...
MIT-6.824 MapReduce 学习记录 + Lab1
小凯的博客
08-12 422
Part1 MapReduce论文学习 Map操作： 处理一个Key/Value对，生成许多个中间的key/value键值对结果 Reduce操作： 对map生成的所有键值对，相同的key的作合并 MapReduce是一种编程范式，能够使得大规模的并行化计算成为可能。同时，这也使得“再次执行”功能作为初级的容错机制。这篇论文主要贡献是通过简单的接口来实现自动的并行化和大规模的分布式计算。 编程模型...
帮我搭建Hadoop单机版，使用MapReduce解决姓名分析问题
最新发布
06-01
在运行MapReduce程序之前，您需要将姓名数据文件上传到Hadoop的分布式文件系统（HDFS）中。您可以使用以下命令将文件上传到HDFS： ``` hadoop fs -put /path/to/input/file /input ``` 其中，/path/to/input/file...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值