Rhadoop中修改Reduce输出分割符

最新推荐文章于 2016-12-02 23:57:00 发布
最新推荐文章于 2016-12-02 23:57:00 发布
阅读量1k 收藏
点赞数
分类专栏： RHadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jmydream/article/details/8554508
版权 
mjiang@jiangmingyan:~/hadoop_work/hadoop-1.0.3/src/mapred/org/apache/hadoop/mapred$ ls -i *Format* 
7996170 FileInputFormat_Counter.properties   7996272 InputFormat.java              7996189 OutputFormat.java                      7996193 SequenceFileInputFormat.java
7996262 FileInputFormat.java                 7996157 KeyValueTextInputFormat.java  7996276 SequenceFileAsBinaryInputFormat.java   7996199 SequenceFileOutputFormat.java
7996363 FileOutputFormat_Counter.properties  7996269 MapFileOutputFormat.java      7996167 SequenceFileAsBinaryOutputFormat.java  7996143 TextInputFormat.java
7996145 FileOutputFormat.java                7996323 MultiFileInputFormat.java     7996161 SequenceFileAsTextInputFormat.java     7996370 TextOutputFormat.java




mapreduce(input='haha',
          output='out',
          reduce=ruducefun,
          output.format='text',
          backend.parameters=list(hadoop=list(
            D='mapred.job.name="get_sort_scores"', 
            D='mapred.output.compress=FALSE', 
            D=paste('mapred.map.tasks=', 1, sep=''), 
            D='mapred.textoutputformat.separator="\\001"',
            D=paste('mapred.reduce.tasks=', 1, sep=''),
            outputformat='org.apache.hadoop.mapred.TextOutputFormat'
            )))
jmydream
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何去掉MapReduce输出的默认分隔符
xidianycy
04-07 3603
我们在用MapReduce做数据处理的时候，经常会遇到将只需要输出键或者值的情况，如context。write(new Text(record), new Text("")),这样得到结果每行尾部会自动加上一个制表符。尽管我们的值是空的，但是MapReduce默认输出的是键值对，且键值对之间采用默认的分隔符为制表符，这样可能对我们数据的后续处理会产生一些干扰，那么如和去掉或是更改这个制表符呢？这里
Hadoop去掉格，换行符，制表符，回车符，换页符【好吧，其实用正则表达式一下子就搞定了】
fujiaxiaoshao的博客
09-07 6854
第一步：将文档中的空格，换行符(\n)，制表符(\t)，回车符(\n)，换页符(\f)去掉 这时候可以采用两种方法 1.使用Hadoop将文本以默认的分隔符（空格，换行符，制表符，回车符，换页符）进行分割，并将分割后的字符串直接输出，这样子新的文档中将不包括这些分隔符。
MapReduce设置输出分隔符
weixin_30423977的博客
12-02 326
conf.set("mapred.textoutputformat.ignoreseparator","true"); conf.set("mapred.textoutputformat.separator",","); 　　默认是tab 转载于:https://www.cnblogs.com/hxsyl/p/6127776.html
hadoop 输出key和value的分隔符设置
junming4的专栏
12-31 1178
写mapreduce会遇到输出key和value的分隔符：hadoop 输出key和value的分隔符设置 conf.set("mapred.textoutputformat.ignoreseparator", "true"); conf.set("mapred.textoutputformat.deprecations","^$^");
hadoop StringUtils split方法的坑
林君-lj的专栏
05-10 1104
今天写hadoop job时发现了一个坑。 使用StringUtils类的split方法对字符串做分割，不小心引入了hadoop自身的StringUtils类，job出错，仔细debug检查后才找到问题所在。 jdk版StringUtils类只把空白符作为分割符。 hadoop版StringUtils类把标点符号也作为分隔符。 在写job的时候小心不要引入错了。
js中的reduce()函数讲解
10-17
今天小编就为大家分享一篇关于js中的reduce()函数讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
es6中reduce的基本使用方法
10-16
ES6中的reduce方法是一种非常强大且灵活的数组操作函数，它允许我们通过一个累加器函数将数组中的所有元素归纳为单一值。在日常的JavaScript编程中，reduce方法经常被用来进行数组求和、扁平化处理、统计元素出现的...
JavaScript中reduce()方法的使用详解
10-24
JavaScript中的reduce()方法是一个非常重要的函数式编程工具，用于将数组中的所有元素归纳（或累积）成一个单一的输出值。在JS入门学习中，理解reduce()的工作原理和使用方法对深入理解数组操作至关重要。 首先，...
python中reduce()函数的使用方法示例
09-21
在大数据处理中，通常使用MapReduce模型，其中`map()`负责并行处理数据，而`reduce()`则负责对`map()`的输出进行归约，从而得到最终结果。虽然Python的`reduce()`无法直接实现分布式计算，但它在处理小规模数据或...
Java 8系列之Stream中万能的reduce用法说明
08-24
Java 8系列之Stream中万能的reduce用法说明 在 Java 8 中，Stream API 提供了一个强大的方法reduce，用于从 Stream 中生成一个值。这个值不是随意的，而是根据指定的计算模型。reduce 操作可以实现从 Stream 中生成...
详解JavaScript中数组的reduce方法
01-21
我们先来看看这个方法的官方概述：reduce() 方法接收一个函数作为累加器（accumulator），数组中的每个值（从左到右）开始缩减，最终为一个值。 你一定也和我一样看的有点迷糊，其实reduce接收的就是一个回调函数，...
Hadoop MultipleOutputs输出到多个文件中的实现方法
08-29
如果`baseOutputPath`不包含文件分隔符“/”，那么输出的文件格式为`baseOutputPath-r-nnnnn`（name-r-nnnnn）；如果包含文件分隔符“/”，例如`baseOutputPath=“029070-99999/1901/part”`，那么输出文件则为`...
JavaScript中reduce()的5个基本用法示例
10-15
在JavaScript中，`reduce()` 方法是一个非常强大的工具，它可以用于处理数组并将数组的元素整合成一个单一的输出值。这个方法特别适用于数组的聚合操作，例如求和、计数、构造新对象等。以下是五个基本的`reduce()`...
tensorflow中tf.reduce_mean函数的使用
09-17
### TensorFlow中tf.reduce_mean函数详解 #### 一、引言 在深度学习和机器学习领域，TensorFlow作为一款强大的开源库被广泛应用于构建各种复杂的神经网络模型。在TensorFlow中，`tf.reduce_mean`是一个非常实用且...
在Vuex中Mutations修改状态操作
10-15
在Vuex中，Mutations是用于修改状态的唯一途径，遵循严格的同步事务处理规则。 一、$store.commit() 方法 在Vuex中，我们通过`$store.commit()`方法来触发一个Mutation。Mutation通常定义在`store.js`文件中的`...
【Mapreduce】设置Mapreduce输出键值对的分隔符
编程记录，亲测有效
01-27 7674
一般情况下Mapreduce输出的键值对是以制表符\t为分隔符的，如下图所示： 但有时候我们像将其设置为其它的分隔符输出，比如","，如下图所示： 此时可以在主函数中添加如下的两行代码： conf.set("mapred.textoutputformat.ignoreseparator","true"); conf.set("mapred.textoutputformat.s
mapreduce 自定义key/value 输出分隔符
静心
12-27 5725
mapreduce 默认情况下 key/value 分隔符为：“\t” 测试的输出如下： 我们可以在代码中进行设置来自定义 key/value 输出分隔符：在代码中添加如下一行代码： conf.set("mapred.textoutputformat.separator", ";"); //此处以”；“作为分割符，后边介绍为什么这么修改 修改代码后，测试修改结果：
Job的处理结果输出格式化器——OutputFormat
xhh198781的专栏
03-02 5810
在前面的博文中，我已经详细的讲述了MapReduce是如何格式化一个作业的输入数据的，也就是用户应该如何来定义作业的输入数据的key-value类型，即如何读取输入数据，并把它们包装成一个个key-value对，最后来交给map函数来处理。那么对应的，本文将主要重点介绍如何格式化保存作业的最后输出结果，很明显，作业的最后输出结果实际上就是reduce函数的输出：key-value。因此，这个问题的
实现Reduce输出结果的全排序
最新发布
06-03
实现Reduce输出结果的全排序，需要在Reducer中进行一定的修改。以下是一个基本的MapReduce全排序的代码示例： Mapper函数： ``` public static class SortMapper extends Mapper, Text, IntWritable, IntWritable>...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值