mapreduce获取读取文件的名字

最新推荐文章于 2020-12-29 15:45:59 发布
最新推荐文章于 2020-12-29 15:45:59 发布
阅读量348 收藏
点赞数
分类专栏： MapReduce 文章标签： mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45255036/article/details/104262466
版权

Path path = ((FileSplit) context.getInputSplit()).getPath();
String name = path.getName();
System.out.println(name+"---------------------");
String fileName = path.getParent().toString();

        System.out.println(fileName+"=====================");
        输出内容

english.txt---------------------
file:/F:/210test=====================

忧伤的橘子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop_mapreduce_Map中获取文件名
子龙修仙的博客
05-19 1333
Mapreduce的map输入的是文件的每一行值，即V1为文件的行。hadoop jar xxx.jar /input /output当input为一个文件名时，v1为文件的行；当input为一个目录时，v1为此目录下各文件的行。 因此在某些情况下在map中获取v1对应的文件名就很有必要了，获取方法：//路径：/myindexdata/data01.txtString path = ((FileS...
Mapreduce如何获取读取文件夹下文件的名字
wjr_wl的博客
10-17 1617
 需要注意的导包的时候导这两个包                     import org.apache.hadoop.mapreduce.InputSplit;                     import org.apache.hadoop.mapreduce.lib.input.FileSplit; ---------------------  作者：闻雷 来源：CSDN  ...
MapReduce程序获取文件名
momo的专栏
12-29 1100
在maper类中 Path path = ((FileSplit) context.getInputSplit()).getPath() .getParent();  String fileName = path.getParent().toString(); 引用类为  import org.apache.hadoop.fs.Path; import org.apache.
MapReduce类的输入文件的格式
baidu_15113429的博客
11-10 702
输入多个文件，但是格式一样FileInputFormat.addInputPath(conf, new Path("hdfs://192.168.16.128:9000/test/groupby/cityA.txt"));输入多个文件，但是每个文件的格式可以不一样MultipleInputs.addInputPath(job, new Path("hdfs://192.168.16.128:9000
mapreduce输出时按情况使用不同的文件名输出结果
chuanjiaoye5017的博客
07-17 183
输出时按情况使用不同的文件名输出结果 这种情况也可以重写格式化输出类实现。 这里说一种简单的方法： 1）、先在提交JOB之前，设置多行输出别名，设置其别名，输出类型，Key类型,value类型 MultipleOutputs.addNameOutput(job,"corpInfo",T...
18、MapReduce的计数器与通过MapReduce读取-写入数据库示例
05-29
要实现MapReduce读取数据库，首先需要在Mapper类中加载数据库驱动并建立连接。然后，可以在map()方法中使用SQL查询获取所需数据。在Reduce阶段，可以对数据进行进一步处理和聚合，最后将结果写入到数据库中。 对于...
mapreduce解析网络日志文件（或从mysql数据库获取记录）并计算相邻日志记录间隔时长
06-26
本话题主要探讨如何利用MapReduce解析网络日志文件，或者从MySQL数据库中获取记录，并计算相邻日志记录之间的间隔时长。这涉及到多个技术点，包括日志文件的处理、MapReduce的工作原理以及与关系型数据库如MySQL的...
【MapReduce篇07】MapReduce之数据清洗ETL1
08-04
在main方法中，我们首先获取了Job信息，然后加载了Mapper代码，设置了输入和输出路径，并提交了作业。 小结 本文详细介绍了MapReduce之数据清洗ETL的实现过程，包括Extract、Transform和Load三个阶段。我们通过...
MapReduce编码1
08-08
具体来说，Map任务从Hadoop分布式文件系统（HDFS）中读取一个预先生成的字典，这个字典包含了可能的密码。对于每一个密码，Map任务需要将其与特定的SSID（Service Set Identifier，无线网络名称）结合，生成一个键值...
KNN mapreduce实现
01-12
1. `Mapper`：负责读取输入文件，解析每条记录，计算样本的特征向量，然后将它们以（样本ID，特征向量）的形式输出。 2. `Partitioner`：根据样本ID进行分区，确保相同ID的样本在同一个Reducer处理。 3. `Reducer`：...
hadoop中实现两表结合 MapReduce中map过程获取操作的文件名
weixin_45744450的博客
11-19 240
当MapReduce中map阶段同时多个文件时候为了区分数据来自哪个文件就要求获取该文件的文件名。 补充map中重写setup方法//在map任务开始之前执行。 表一order： order001,u006 order002,u006 order003,u005 order004,u006 order005,u003 order006,u002 表二： u001,senge,18,male,ang...
MapReduce> Java代码获取文件名称
qq_44509920的博客
11-20 207
获取文件名称 在Map中加入以下代码，即可获取读取的文件名称 //通过context可以获取这行文本所属的文件名称 FileSplit inputSplit = (FileSplit)context.getInputSplit(); String filename= inputSplit.getPath().getName(); 代码 MoreFileMappe...
打开mxd中某个特定的图层
李厂长的自留地
05-06 1301
Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE
MapReduce的Map如何获取处理数据所在目录以及数据所在文件
fangfanglovezhou的博客
12-29 923
首先要获取输入的分割块（input split）,MapReduce的接口为： context.getInputSplit(); 为了获得文件路径和文件名，需要首先将结果类型转换到FileSplit，故，获取数据所在目录： Path filePath = ((FileSplit) context.getInputSplit()).getPath(); String filePathString = ((FileSplit) context.getInputSplit()).getPath().to
在mapper中获得inputsplit的信息
来啊 快活啊
04-24 4723
在社区版的hadoop版本0.19/0.20中,当使用普通的输入的时候,比如 job.setInputFormatClass(TextInputFormat.class); 在mapper运行的时候,可以用如下的方法得到对应的filesplit,也就能拿到对应的输入路径,等等信息. (FileSplit)(reporter.getInputSplit()); 0.19
mapreduce中获取输入文件的路径
01-21 436
InputSplit inputSplit = context.getInputSplit(); String fileName = ((FileSplit) inputSplit).getPath().getName(); 　　
Hadoop获取split文件名
蔡先生的专栏
07-16 4351
在mapper()类的map方法,setup()方法中读取当前split所在文件的文件名：          //获取当前split的文件名 FileSplit fileSplit = (FileSplit)context.getInputSplit(); System.out.println(fileSplit.getPath().getNam
mapreduce获取输入文件名、输出路径
little-bear的博客
03-23 3219
1。 获得输入文件名 String input= context.getInputSplit();     context 就是 Context对象 2。获得输出路径 String outPutPath = context.getConfiguration().get("mapred.output.dir");
MapReduce程序中如何获取文件名
weixin_42619750的博客
09-20 1100
在maper类中 Path path = ((FileSplit) context.getInputSplit()).getPath() .getParent(); String fileName = path.getParent().toString(); 引用类为 import org.apache.hadoop.fs.Path; import org.apache.hadoop.ma...
mapreduce实现读取两个文件
最新发布
06-03
可以通过以下步骤实现MapReduce程序读取两个文件： 1. 在Mapper类的setup()方法中获取第二个文件的路径，并将其存储在变量中。 2. 在Mapper类的map()方法中，首先读取第一个文件的数据，处理后输出键值对。 3. 然后读取第二个文件的数据，处理后输出键值对。 4. 在Reducer类中，收集所有键值对并进行相应的处理。 下面是一个简单的示例代码： ```java public class TwoFilesMapReduce extends Mapper<LongWritable, Text, Text, IntWritable> { private Path secondFilePath; private BufferedReader reader; @Override protected void setup(Context context) throws IOException, InterruptedException { // 获取第二个文件的路径 secondFilePath = new Path(context.getConfiguration().get("secondFilePath")); FileSystem fs = FileSystem.get(context.getConfiguration()); FSDataInputStream in = fs.open(secondFilePath); reader = new BufferedReader(new InputStreamReader(in, "UTF-8")); } @Override public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { // 处理第一个文件的数据 // 输出键值对 // 处理第二个文件的数据 String line = reader.readLine(); while (line != null) { // 处理数据 // 输出键值对 line = reader.readLine(); } } @Override protected void cleanup(Context context) throws IOException, InterruptedException { reader.close(); } } public class TwoFilesReducer extends Reducer<Text, IntWritable, Text, IntWritable> { @Override public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { // 处理键值对 // 输出结果 } } public class TwoFilesMapReduceDriver { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); conf.set("secondFilePath", args[1]); // 设置第二个文件的路径 Job job = Job.getInstance(conf, "TwoFilesMapReduce"); job.setJarByClass(TwoFilesMapReduceDriver.class); job.setMapperClass(TwoFilesMapReduce.class); job.setReducerClass(TwoFilesReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); // 设置第一个文件的路径 FileOutputFormat.setOutputPath(job, new Path(args[2])); // 设置输出路径 System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 在运行MapReduce程序时，需要将第一个文件的路径、第二个文件的路径以及输出路径作为命令行参数传递给程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值