在map函数中获取当前记录来自的文件名称

最新推荐文章于 2023-09-06 10:13:24 发布
最新推荐文章于 2023-09-06 10:13:24 发布
阅读量1.8k 收藏
点赞数
分类专栏： java Linux hadoop 文章标签： hadoop api mapreduce string
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sun_168/article/details/7622282
版权
Linux 同时被 3 个专栏收录
17 篇文章 0 订阅
订阅专栏
hadoop
10 篇文章 0 订阅
订阅专栏
java
7 篇文章 0 订阅
订阅专栏

查找资料，发现可以通过

InputSplit inputSplit=(InputSplit)context.getInputSplit();
String filename=((FileSplit)inputSplit).getPath().getName();

来获取，结果很不幸，我失败了，问题出在哪里呢，还是新旧API捣的鬼。

其实以前的“Hadoop中mapred包和mapreduce包的区别”中有提到hadoop的新旧API。

Hadoop旧API：org.apache.hadoop.mapred.FileSplit已废弃

应该采用新的API，换成新的API：org.apache.hadoop.mapreduce.lib.input.FileSplit

OK，一切搞定

sun_168
关注
专栏目录
STM32启动过程浅析（MAP文件、STM32启动过程、启动模式、Reset_Handler函数、__initial_sp堆栈的起始地址、堆栈）
扬帆起航
05-23 865
STM32启动过程浅析（MAP文件、STM32启动过程、启动模式、Reset_Handler函数、__initial_sp堆栈的起始地址、堆栈）
hive 函数使用详解
congge_study的博客
02-12 7575
hive 函数使用详解
map方法获得文件夹下文件名称
沐雨金鳞
01-29 703
setup方法即为Mapper初始化的方法，可以点击Mapper按F3进行源码查看 static class MyMapper extends MapperObject,Object,Text,Text>{ protected void setup(Context context) throws IOException, InterruptedException{
在map中获取当前数据所属文件名
superye1983的专栏
11-28 848
很多业务逻辑在处理数据时和文件名进行了绑定 所以在做MAP的时候需要知道这条数据是从哪个文件而来 这句语句可以获得文件名 String fileName = ((FileSplit)context.getInputSplit()).getPath().getName();
android 怎么定位错误
fengchi4040的博客
01-02 616
初学安卓，看网上说的很笼统，有点看不懂，所以请教各位大侠，eclipse怎么去查找错误，今天拿一段代码进行调试，发现点击一个button后程序崩溃，只求调试方法和各位的思路，不吝赐教，同时希望大家多教教我怎么去操作，请说的详细些谢谢。 01-01 00:43:34.290: I/AudioPolicyManagerBase(1197): checkAndSetVolume() stream 1 
Jenkins pipeline 获取指定路径下的文件列表
liurizhou的博客
11-03 3950
转自：获取Jenkinsfile（Groovy）中给定文件夹中的文件名列表 node { // ... check out code, whatever final foundFiles = findFiles(glob: 'dockerfiles/**/*') // do things with FileWrapper[] } 另一种选择是掏空并捕获标准： node { // ... check out code, whatever final foundFiles = s
【PyCharm Community Edition】：分析map文件统计RAM及ROM的使用
最新发布
09-06 1144
涉及：遍历文件，打开文件，查找指定字符，删除多余空格及拆分字符串，字符串转10进制，
linux系统c读写文件函数open write read lseek用法实例
weixin_43996161的博客
10-27 1369
linux系统c读写文件函数open write read lseek用法实例
Mapreduce中获取输入文件名及路径的方法
YF_Li123的博客
04-15 3505
在map函数中想要获取当前split所读取的文件名，方法如下： 1 不通用方法 1 如果读入的文件类型为 TextInputFormat，则获取文件名如下： String filePath = context.getConfiguration().get("mapreduce.map.input.file"); Path tmpFilePath = new Path(filePath)...
jenkins pipeline关系
11-22
Read more about how to integrate steps into your Pipeline in the Steps section of the Pipeline Syntax page
Jenkins Pipeline 读取文件信息
Martin 的博客
02-28 743
Jenkins 读取文件
杂乱整理中
kathy_zhangting的博客
11-04 866
工作中较乱的笔记
Hadoop＿Map中获取当前spilt文件名
热门推荐
笨字第1号
07-18 1万+
有时候需要在Map类中的map函数中获取当前split所读取的文件名。 在旧版mapred下面实现方法如下： // 获得输入文件的路径名 String path=((FileSplit)reporter.getInputSplit()).getPath().toString(); //使用Reporter reporter对象来获取，在新版mapreduce中， Reporter r
Mapreduce(MR)读取配置文件的三种方式，遍历HDFS目录文件
IBoyMan
03-13 7836
第一种方式：    如果配置文件数据不是很大，可以放在本地，然后在打包进去，代码如下：第二种：    如果配置文件数据比较大，可以传到HDFS里，以传参的形式加载，代码：这种方式需要在Main里设置参数位置，核心代码如图：第三种： 配置文件已经在HDFS上存在(以part文件形式存在，第二种是传上去的文件不是part格式，比如txt形式)，以传参的形式加载，代码：这种方式也要在Main设置参数的位...
1395 名字查找
无知的我
07-28 1055
描述 这里有个名单，但是当你看了后，感觉很晕，这是名单么？全是一串串的没有空格隔开的字符串。现在你的工作是需要知道这个名单中的每个名字是否可能存在……（其实就是检查一下有没有拼写错误）具体检查方法如下：你有一本字典，里面包含了2个部分，姓部分，名部分；你可以分别从这2个部分中选择
map函数在Python中
05-04
map函数是Python内置的高阶函数，...在上面的例子中，使用了lambda表达式作为map函数的第一个参数，将给定的列表中的每个元素都平方，并将结果存储在列表squared_lst中。最后使用list函数将结果转换为列表并打印输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值