Hadoop MapReduce 修改输出文件名 MultipleOutputs

最新推荐文章于 2022-10-19 20:54:45 发布
VIP文章 最新推荐文章于 2022-10-19 20:54:45 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： Hadoop学习与使用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/smile0198/article/details/74690702
版权

需求：修改mapreduce的输出文件名称 为自己想要的名字

工具：MultipleOutputs

默认文件名：part-r-xxx 或者000178_0

修改后为： 自定义名字-r-xxx   后边的r-xxx还没有去掉

主要流程：

1、声明 multipleOutputs

2、在setup方法中初始化

3、在reduce方法中调用  public voidwrite(KEYOUT key, VALUEOUT value, String baseOutputPath)

最低0.47元/天 解锁文章
架构师思考实践
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop MapReduce多输出详细介绍
01-10
Hadoop MapReduce多输出 FileOutputFormat及其子类产生的文件放在输出目录下。每个reducer一个文件并且文件由分区号命名：part-r-00000，part-r-00001，等等。有时可能要对输出的文件名进行控制或让每个reducer输出多个文件。MapReduce为此提供了MultipleOutputFormat类。 MultipleOutputFormat类可以将数据写到多个文件，这些文件的名称源于输出的键和值或者任意字符串。这允许每个reducer（或者只有map作业的mapper）创建多个文件。采用name-r-nnnnn形式的文件名用于map输出，na
一步一步学习hadoop（十二）
weixin_30730053的博客
12-08 57
MapReduce作业输出 hadoop的输出格式和输入格式对应，都是实现类OutputFormat，按使用方式分为三种，文本格式，二进制格式，自定义文件输出（？？Multiple outputs）。 1.文本格式 TextOutputFormat是Hadoop的默认输出格式，对应于KeyValueInputFormat，将键值对转化为文本，中间以分隔符（默认为\t)隔开，分隔符...
mapreduce程序中避免reduce输出空文件
wisgood的专栏
05-09 8160
在mapreduce里，如果某个reduce输出为空，默认也会生成一个大小为0的文件。原因是reduce写的时候，不知道会不会有输出数据，所以默认初始化了一个文件。如果没有输出，close文件最终会生成一个空文件。如下。有几个缺点： 1）生成的很多小文件，对namenode形成一定压力 2）生成的数据下个阶段处理的时候，这些空的文件会浪费掉一些计算资源。 3）看着不爽 -rw-r--r--...
Hadoop2.6.0学习笔记（六）TextOutputFormat及RecordWriter解析
maenlai0086的博客
03-11 1338
MapReduce提供了许多默认的输出格式，如TextOutputFormat、KeyValueOutputFormat等。MapReduce中输出文件的个数与Reduce的个数一致，默认情况下有一个Reduce，输出只有一个文件，文件名为part-r-00000，文件内容的行数与map输出中不同key的个数一致。如果有两个Reduce，输出的结果就有两个文件，第一个为part-r-00000，第...
限制spark输出往hdfs写success文件
qq_36532358的博客
07-31 2692
提交spark任务前进行设置即可： sc.hadoopConfiguration.set(“mapreduce.fileoutputcommitter.marksuccessfuljobs”, “false”)
【Hadoop---14】MapReduce：OutputFormat『 TextOutputFormat | 自定义OutputFormat』
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
10-19 308
1. OutputFormat阶段流程 2. OutputFormat与其子类关系图 3. TextOutputFormat(默认) 4. 自定义OutputFormat类 4.1 什么时候需要自定义OutputFormat类 4.2 自定义OutputFormat步骤 4.3 自定义OutputFormat示例 4.4 自定义RecordWriter示例 4.5 自定义OutputFormat类与job绑定示例
MapReduce处理输出多文件格式(MultipleOutputs)
shujuboke的博客
08-15 2216
MultiPleOutputs原理 MapReduce job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如part-(m|r)-00000之类，但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。以前常用的方法是在MR job运行之后，用脚本对目录下的
MapReduce-多个输出(使用MultipleOutput，不指定reduce任务个数)
weixin_30617737的博客
08-26 232
多个输出 FileOutputFormat及其子类产生的文件放在输出目录下。每个reduce一个文件并且文件由分区号命名：part-r-00000,part-r-00001,等等。有时可能需要对输出的文件名进行控制或让每个reducer输出多个文件。MapReduce为此提供了MultipleOutputFormat类。 案例：数据分割 按气象站来区分气象数据。这需要运行一个作业，作业的输出...
mapreduce多路输出实例
bitcarmanlee的博客
02-04 5909
1.MultiPleOutputs简介MapReduce job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出的时候，MR内部会对输出的文件进行重新命名，例如常见的形式为part-r-00000。 但是很多情况下，我们希望将输出的文件分开，即所谓的多路输出。我们希望将输出的内容重新组织，输出到不同的目录或者文件夹中，方便我们后续
MapReduce自定义文件输出名
小强签名设计 的博客
10-17 1367
前言： MapReduce默认情况下，一个reducer产生一个文件，以name-r-nnnnn来命名，其中默认的name为part，nnnnn从(00000开始递增)，保证了每个reducer不会产生重复的文件。   一、仅替代文件名part，输出结果为score-r-00000 1.使用org.apache.hadoop.mapreduce.lib.output.MultipleOu...
Hadoop MapReduce架构
01-07
Hadoop MapReduce 是 Hadoop 平台根据 MapReduce 原理实现的计算框架，目前已经实现了两个版本，MapReduce 1.0 和基于 YARN 结构的 MapReduce 2.0。 尽管 MapReduce 1.0 中存在一些问题，但是整体架构比较清晰，更...
Hadoop MapReduce.md
09-17
本章介绍了 Hadoop MapReduce，同时发现它有以下缺点： 1、程序设计模式不容易使用，而且 Hadoop 的 Map Reduce API 太过低级，很难提高开发者的效率。 2、有运行效率问题，MapReduce 需要将中间产生的数据保存到...
python hadoop mapreduce 相似用户|mapreduce.rar
12-01
使用python写微博关注者之间，相似度最高的十个用户的mapreduce，代码有点粗糙，主要是给大家提供思路的，不同的问题是需要修改的。
HDFS 读取、写入、遍历目录获取文件全路径、append
热门推荐
架构师思考实践
07-08 1万+
1、从HDFS中读取数据 Configuration conf = getConf(); Path path = new Path(pathstr); FileSystem fs = FileSystem.get(conf); FSDataInputStream fsin= fs.open(path ); BufferedReader br =null; Strin
MapReduce运行异常-- org.apache.hadoop.mapred.FileAlreadyExistsException
架构师思考实践
03-26 1万+
描述： 输出文件已经存在 异常： 14/03/26 23:00:52 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String). 14/03/26 23:00:52 INFO mapred.JobClien
hadoop 无法查看job信息 8088无法访问
架构师思考实践
09-12 1万+
需要配置一些8088 The http address of the RM web application. yarn.resourcemanager.webapp.address ${yarn.resourcemanager.hostname}:8088
hadoop HDFS 设置文件复试数（备份数）
架构师思考实践
11-24 9168
HDFS高可恢复行，高抗灾行，很重要一点就是通过存放多个副本来保证的，但是根据集群的规模不同，可能要设置不同的复制数，可通过配置文件和程序来实现。  方法一：通过配置文件实现 方法一：通过配置文件实现 在hdfs-site.xml中有个属性在hdfs-site.xml中有个属性 dfs.replication 3 Default block replication. The
读书笔记--MapReduce 适用场景 及 常见应用
架构师思考实践
03-05 9062
1、MR解决的问题的特点 MR是应大数据的背景产生，其解决的问题的共性为：大问题可以被分解为许多子问题，且这些子问题相对独立，将这些子问题并行处理完后，大问题也就被解决。是用来分治、分解的思想。 2、Google论文中提及的典型应用： URL访问率统计，分布式grep，分布式排序，倒序索引构建，Web连接图反转等。 3、从书中看到的几个比较复杂的应用： （1）、TopK问题 问题：在搜
hadoop异常之 reduce拉取数据失败  （error in shuffle in fetcher）
架构师思考实践
03-08 8752
主要错误信息：Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#43 解决办法：限制reduce的shuffle内存使用                 hive：set mapreduce.reduce.shuffle.memory.li
Hadoop MapReduce常用输入输出格式
最新发布
06-13
Hadoop MapReduce常用的输入输出格式有以下几种： 1. TextInputFormat：按行读取文本文件，每行作为一个记录。 2. KeyValueTextInputFormat：按行读取文本文件，以Tab为分隔符将每行分成两部分，第一部分作为key，第二部分作为value。 3. SequenceFileInputFormat：读取二进制的SequenceFile文件，其中每个记录包含一个key和一个value。 4. NLineInputFormat：按指定的行数划分输入文件，将每个分片作为一个记录。 5. CombineTextInputFormat：将多个小文件组合成一个切片进行处理，减少小文件数量。 对于输出格式，常用的有以下几种： 1. TextOutputFormat：将输出的key-value对按行输出。 2. SequenceFileOutputFormat：将输出的key-value对写入二进制的SequenceFile文件。 3. MultipleOutputFormat：将输出结果按照不同的key写入不同的文件中。 4. NullOutputFormat：不输出任何内容，通常用于测试或调试。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值