hadoop_mapreduce_Map中获取文件名

最新推荐文章于 2020-12-29 15:45:59 发布
最新推荐文章于 2020-12-29 15:45:59 发布
阅读量1.3k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41665356/article/details/80254597
版权
在MapReduce中，map任务通常处理输入文件的每一行。当输入是文件或目录时，有时需要获取当前处理行所属的文件名。通过`FileSplit`对象，可以获取输入split的路径，然后利用字符串操作提取文件名。
摘要由CSDN通过智能技术生成

Mapreduce的map输入的是文件的每一行值，即V1为文件的行。

hadoop jar xxx.jar /input /output

当input为一个文件名时，v1为文件的行；

当input为一个目录时，v1为此目录下各文件的行。

 

因此在某些情况下在map中获取v1对应的文件名就很有必要了，获取方法

最低0.47元/天 解锁文章
Mapreduce中获取输入文件名及路径的方法
YF_Li123的博客
04-15 3550
在map函数中想要获取当前split所读取的文件名，方法如下： 1 不通用方法 1 如果读入的文件类型为 TextInputFormat，则获取文件名如下： String filePath = context.getConfiguration().get("mapreduce.map.input.file"); Path tmpFilePath = new Path(filePath)...
Hadoop调用MapReduce进行词频统计
MidnightFancy的博客
12-19 5258
Hadoop调用MapReduce进行词频统计博客目录一.案例1.实验目的2.分析步骤二.前置准备1.传输文本文件2.环境搭建(1)使用VirtualBox虚拟机软件安装Ubuntu(2)在Ubuntu中安装Hadoop和Eclipse三.具体步骤1.下载保存文本文件2.将文本文件传输至HDFS3.启动软件Eclipse4.新建Java工程5.为项目添加需要用到的JAR包6.新建类7.编写Java应用程序8.编译打包程序9.在终端中运行程序10.上传文本文件至HDFS11.在终端中使用jar包运行程序12.
Hadoop＿Map中获取当前spilt文件名
热门推荐
笨字第1号
07-18 1万+
有时候需要在Map类中的map函数中获取当前split所读取的文件名。 在旧版mapred下面实现方法如下： // 获得输入文件的路径名 String path=((FileSplit)reporter.getInputSplit()).getPath().toString(); //使用Reporter reporter对象来获取，在新版mapreduce中， Reporter r
Hadoop的map获取当前spilt文件名
鲍礼彬的CSDN博客 ~_~
10-30 2435
map函数： protected void map(LongWritable key, Text value, Mapper.Context context) throws IOException, InterruptedException { FileSplit fileSplit = (FileSplit) context.getInputSplit(); //获得当前
Mapreduce如何获取读取文件夹下文件的名字
wjr_wl的博客
10-17 1656
 需要注意的导包的时候导这两个包                     import org.apache.hadoop.mapreduce.InputSplit;                     import org.apache.hadoop.mapreduce.lib.input.FileSplit; ---------------------  作者：闻雷 来源：CSDN  ...
如何在mapreduce方法中获取当前使用文件（get file name）
空中的鱼
03-29 182
使用的0.20.2版本hadoop 查了许久，如何在map方法中获取当前数据块所在的文件名，方法如下： //获取文件名 InputSplit inputSplit=(InputSplit)context.getInputSplit(); String filename=((FileSplit)inputSplit).getPath().getName();...
Downloads_分布式_WebCollect-Hadoop_
09-29
在压缩包中的文件名中，我们看到有两个JAR文件：WebCollector-2.73-alpha.jar和WebCollector-Hadoop-0.1-beta.jar。这表明WebCollect至少有两个版本，一个是2.73的Alpha版本，另一个是0.1的Beta版本，专门针对Hadoop...
MapReduce程序获取文件名
momo的专栏
12-29 1113
在maper类中 Path path = ((FileSplit) context.getInputSplit()).getPath() .getParent();  String fileName = path.getParent().toString(); 引用类为  import org.apache.hadoop.fs.Path; import org.apache.
mapreduce获取读取文件的名字
qq_45255036的博客
02-11 364
Path path = ((FileSplit) context.getInputSplit()).getPath(); String name = path.getName(); System.out.println(name+"---------------------"); String fileName = path.getParent().toString(); Syst...
结合案例讲解MapReduce重要知识点 ------ 获取文件名
Z_Data的博客
11-09 357
在map运行时获取被处理数据所在文件的文件名 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io....
hadoop map中获取文件/切片名称
weixin_34247032的博客
08-30 120
//import org.apache.hadoop.mapreduce.InputSplit;//import org.apache.hadoop.mapreduce.lib.input.FileSplit; @SuppressWarnings("rawtypes") public static String getCityFromFileName(org.apache.ha...
mapreduce如何获得文件的路径
chengyuan2789的博客
06-13 508
通常的做法是通过inputSplit来获得，如下： InputSplit split = context.getInputSplit(); 但是，如果使用MultipleInputs的话，则需要进行转化，将TaggedInputSplit转成InputSplit，如下： ...
MapReduce读取txt文件存储至HBase，以文件名作Key，整个文件内容作Value
04-15 1588
接到老大分配的任务： 把抓取好的网络舆情信息（以txt形式存放），存储到HBase中，再进行信息分析。 要求： 以文件名作Key，整个文件内容作Value 思路： txt文件先上传到HDFS中，再使用HBase MapReduce将文件写入HBase中。（很简单的思路） 问题分析： 首先必须分析到的问题是，如何读取解析txt文件，TextInputFormat是默认的文件解析
Hadoop mapreduce递归统计文件夹下的文件
jim8973的博客
02-08 599
需要配置vi mapred-site.xml <property> <name>mapreduce.input.fileinputformat.input.dir.recursive</name> <value>true</value> </property> 这样就可以统计如下文...
MapReduce之自定义输入
qq_45769990的博客
11-16 247
1.驱动类 Drive代码 package RecordWrite; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.
MapReduce的Map如何获取处理数据所在目录以及数据所在文件
fangfanglovezhou的博客
12-29 953
首先要获取输入的分割块（input split）,MapReduce的接口为： context.getInputSplit(); 为了获得文件路径和文件名，需要首先将结果类型转换到FileSplit，故，获取数据所在目录： Path filePath = ((FileSplit) context.getInputSplit()).getPath(); String filePathString = ((FileSplit) context.getInputSplit()).getPath().to
hadoop 代码中获取文件名
bitcarmanlee的博客
06-22 1万+
在hadoop的MR相关代码中，经常需要获得mapper输入的文件名，从而针对不同的文件进行不同的操作。下面简单地介绍一下如果在MR代码中获取文件名1.在streaming中获取文件名实际中经常用python开发streaming程序，在python代码中可以用如下方式获得文件名：import osfilepath = os.environ["mapreduce_map_input_file"]通过
[Hadoop基础]--用户自定义mapreduce输出的文件名称
欢迎来到我的博客，一起探索代码里的世界！
01-16 2273
前言      有这样一个需求：在reduce结束后，输出的文件名称为用户自定义，且要求没有空文件输出。方案    方案1：单个输出，获取上下文配置，修改文件名称。    方案2：参考spark使用MultipleOutputs输出。这里主要说说方案2的实现方式。1、需要保证输出文件没有空2、自定义输出文件名称3、具体实现(1)在org.apache.hadoop.mapreduce.Job中设置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值