hadoop_mapreduce_Map中获取文件名

最新推荐文章于 2020-12-29 15:45:59 发布
最新推荐文章于 2020-12-29 15:45:59 发布
阅读量1.3k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41665356/article/details/80254597
版权

Mapreduce的map输入的是文件的每一行值，即V1为文件的行。

hadoop jar xxx.jar /input /output

当input为一个文件名时，v1为文件的行；

当input为一个目录时，v1为此目录下各文件的行。

 

因此在某些情况下在map中获取v1对应的文件名就很有必要了，获取方法

最低0.47元/天 解锁文章
qq_41665356
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mapreduce中获取输入文件名及路径的方法
YF_Li123的博客
04-15 3452
在map函数中想要获取当前split所读取的文件名，方法如下： 1 不通用方法 1 如果读入的文件类型为 TextInputFormat，则获取文件名如下： String filePath = context.getConfiguration().get("mapreduce.map.input.file"); Path tmpFilePath = new Path(filePath)...
Hadoop＿Map中获取当前spilt文件名
热门推荐
笨字第1号
07-18 1万+
有时候需要在Map类中的map函数中获取当前split所读取的文件名。 在旧版mapred下面实现方法如下： // 获得输入文件的路径名 String path=((FileSplit)reporter.getInputSplit()).getPath().toString(); //使用Reporter reporter对象来获取，在新版mapreduce中， Reporter r
Hadoop的map获取当前spilt文件名
鲍礼彬的CSDN博客 ~_~
10-30 2418
map函数： protected void map(LongWritable key, Text value, Mapper.Context context) throws IOException, InterruptedException { FileSplit fileSplit = (FileSplit) context.getInputSplit(); //获得当前
Mapreduce如何获取读取文件夹下文件的名字
wjr_wl的博客
10-17 1614
 需要注意的导包的时候导这两个包                     import org.apache.hadoop.mapreduce.InputSplit;                     import org.apache.hadoop.mapreduce.lib.input.FileSplit; ---------------------  作者：闻雷 来源：CSDN  ...
如何在mapreduce方法中获取当前使用文件（get file name）
空中的鱼
03-29 171
使用的0.20.2版本hadoop 查了许久，如何在map方法中获取当前数据块所在的文件名，方法如下： //获取文件名 InputSplit inputSplit=(InputSplit)context.getInputSplit(); String filename=((FileSplit)inputSplit).getPath().getName();...
Hadoop_HDFS和MapReduce架构浅析_郝树魁.pdf
11-21
MapReduce是Hadoop的主要计算模型，它将大规模数据处理任务分解为一系列小任务（Map任务）并行执行，然后再将结果合并（Reduce任务）。MapReduce的工作流程包括作业提交、作业初始化、任务分配、任务执行和任务进度...
Downloads_分布式_WebCollect-Hadoop_
09-29
在压缩包中的文件名中，我们看到有两个JAR文件：WebCollector-2.73-alpha.jar和WebCollector-Hadoop-0.1-beta.jar。这表明WebCollect至少有两个版本，一个是2.73的Alpha版本，另一个是0.1的Beta版本，专门针对Hadoop...
hadoop_tibame:TiBaMe 的 Hadoop 系列
07-05
由于提供的文件名`hadoop_tibame-master`暗示这是一个项目或教程的主分支，我们可以推测这可能包含了关于TiBaMe Hadoop Series的源代码、文档或者示例，用于学习和实践Hadoop的相关操作。实际内容需要解压文件后查看...
大数据 hadoop mapreduce 词频统计
10-23
在这个"大数据Hadoop MapReduce词频统计"的场景中，我们利用MapReduce来统计文本中的词汇出现频率。这是数据分析中一个常见的任务，有助于理解文本内容的概貌。Map阶段的任务是对输入的文本进行分词，并形成<单词, 1...
WordCount2_hadoopwordcount_
10-01
在Hadoop生态系统中，`WordCount`程序是一个经典的示例，用于演示分布式计算的基本原理。在标题中的"WordCount2_hadoopwordcount_"可能指的是Hadoop WordCount的第二个版本，通常是在Hadoop 2.x环境下运行。这个程序...
MapReduce程序获取文件名
momo的专栏
12-29 1098
在maper类中 Path path = ((FileSplit) context.getInputSplit()).getPath() .getParent();  String fileName = path.getParent().toString(); 引用类为  import org.apache.hadoop.fs.Path; import org.apache.
mapreduce获取读取文件的名字
qq_45255036的博客
02-11 346
Path path = ((FileSplit) context.getInputSplit()).getPath(); String name = path.getName(); System.out.println(name+"---------------------"); String fileName = path.getParent().toString(); Syst...
结合案例讲解MapReduce重要知识点 ------ 获取文件名
Z_Data的博客
11-09 329
在map运行时获取被处理数据所在文件的文件名 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io....
hadoop map中获取文件/切片名称
weixin_34247032的博客
08-30 109
//import org.apache.hadoop.mapreduce.InputSplit;//import org.apache.hadoop.mapreduce.lib.input.FileSplit; @SuppressWarnings("rawtypes") public static String getCityFromFileName(org.apache.ha...
mapreduce如何获得文件的路径
chengyuan2789的博客
06-13 495
通常的做法是通过inputSplit来获得，如下： InputSplit split = context.getInputSplit(); 但是，如果使用MultipleInputs的话，则需要进行转化，将TaggedInputSplit转成InputSplit，如下： ...
MapReduce读取txt文件存储至HBase，以文件名作Key，整个文件内容作Value
04-15 1573
接到老大分配的任务： 把抓取好的网络舆情信息（以txt形式存放），存储到HBase中，再进行信息分析。 要求： 以文件名作Key，整个文件内容作Value 思路： txt文件先上传到HDFS中，再使用HBase MapReduce将文件写入HBase中。（很简单的思路） 问题分析： 首先必须分析到的问题是，如何读取解析txt文件，TextInputFormat是默认的文件解析
Hadoop mapreduce递归统计文件夹下的文件
jim8973的博客
02-08 579
需要配置vi mapred-site.xml <property> <name>mapreduce.input.fileinputformat.input.dir.recursive</name> <value>true</value> </property> 这样就可以统计如下文...
MapReduce之自定义输入
qq_45769990的博客
11-16 215
1.驱动类 Drive代码 package RecordWrite; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.
MapReduce的Map如何获取处理数据所在目录以及数据所在文件
fangfanglovezhou的博客
12-29 917
首先要获取输入的分割块（input split）,MapReduce的接口为： context.getInputSplit(); 为了获得文件路径和文件名，需要首先将结果类型转换到FileSplit，故，获取数据所在目录： Path filePath = ((FileSplit) context.getInputSplit()).getPath(); String filePathString = ((FileSplit) context.getInputSplit()).getPath().to
Hadoop入门：HDFS、MapReduce与HBase解析
"对Hadoop中的HDFS、MapReduce、HBase系列知识的介绍，适合初学者了解和学习大数据处理框架的入门资料。" Hadoop是一个开源的分布式计算框架，最初由Doug Cutting创建，目的是为了支持大规模数据处理。它被设计成...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值