案例十三：多格式文件输出MultipleOutputs

最新推荐文章于 2021-02-28 02:08:02 发布
最新推荐文章于 2021-02-28 02:08:02 发布
阅读量663 收藏
点赞数
分类专栏： mapreduce HDFS hadoop 文章标签： mapreduce 多路径输出
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yoghurt2016/article/details/52745263
版权
mapreduce 同时被 3 个专栏收录
19 篇文章 0 订阅
订阅专栏
hadoop
16 篇文章 0 订阅
订阅专栏
HDFS
7 篇文章 0 订阅
订阅专栏

案例十三：多格式文件输出MultipleOutputs


多格式输出文件，就当是一份文件不同的数值类型输出。

这样也很方便往hive加载数据，也方便sqoop迁移数据。直接上代码。大笑大笑大笑


先把用到数据格式贴一下：

asd126 com
wer 163 com
ewyrophwwq sinacom
asdh 126 com
214 tom com
asfdj tom com
45dsf 163 com
hadsfl 126 com
hdsla 163 com
po80 sina com
uopr 163 com
hfreih tom com
hfs 126 com
hfsl tom com
fdhs 126 com
ahdfl 163 com
afjkdsl sina com


类似邮箱的格式，如果是邮箱的格式最好还是先awk或者cut一下，

换一下普通的分隔符，不然好像会报错，写不了数据，可能会报readshort。









下面是结果，有两个都在/out/222，分别是FormatText和FormatIntWritable开头的文件，还有一个文件我定义在了/out/下面





yoghurt2016
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
字节输入输出流，文件输入输出流
m0_53667279的博客
08-03 3553
无
案例十二：多文件输出MultipleOutputs
yoghurt
10-06 504
案例十二：多文件输出MultipleOutputs 好几天没写什么了，今天写点工作当中比较常用的东西吧--MultipleOutputs 多路径输出，这个用的也比较多，比如可以输出分区的数据，方便hive里建表， 也可以分类数据，都比较方便了。 下篇再说一下多格式输出。主要用到MultipleOutputs这个类。直接上代码。 先贴一下数据
MapReduce Design Patterns（chapter 6 （part 2））（十二）
亡の剑指
01-14 1231
Chain Folding 这是对job 链的一种优化。基本上是一种大体规则：每条记录都会提交给多个mapper，或者给reducer然后给mapper。这种综合处理方法会节省很多读文件和传输数据的时间。多个job的结构通常这样处理是可行的，因为map阶段是完全无共享的：看起来每条记录是单独的，数据的组织或是否分组是没有关系的。当创建大的MapReduce链时，合并这个链使多个map阶段合并会带
如何使用Hadoop的MultipleOutputs进行多文件输出
小桥
05-06 1588
有时候，我们使用Hadoop处理数据时，在Reduce阶段，我们可能想对每一个输出的key进行单独输出一个目录或文件，这样方便数据分析，比如根据某个时间段对日志文件进行时间段归类等等。这时候我们就可以使用MultipleOutputs类，来搞定这件事，  下面，先来看下散仙的测试数据：  Java代码   中国;我们   美国;他们   中国;123   中
MultipleOutputFormat多文件输出
mrwang1992
02-10 604
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.mapred.JobConf;
文件输出流：FileOutputStream
热门推荐
Luis
03-29 1万+
OutputStream有很多子类，我们从最简单的一个子类开始。 java.io.FileOutputStream类是文件输出流，用于将数据写出到文件。 1. 构造方法 public FileOutputStream(File file)：创建文件输出流以写入由指定的 File对象表示的文件。 public FileOutputStream(String name)： 创建文件输出流以指定的名称...
Hadoop MultipleOutputs输出到多个文件中的实现方法
08-29
如果`baseOutputPath`不包含文件分隔符“/”，那么输出的文件格式为`baseOutputPath-r-nnnnn`（name-r-nnnnn）；如果包含文件分隔符“/”，例如`baseOutputPath=“029070-99999/1901/part”`，那么输出文件则为`...
diedai.rar_多输入多输出_迭代学习_迭代算法案例
最新发布
09-20
在IT领域，多输入多输出（Multiple Input Multiple Output, MIMO）系统是一种广泛应用于通信、机器学习和信号处理的技术。这种技术通过利用多个输入和输出通道来提高数据传输的效率和可靠性。在本示例中，“diedai....
SpringMVC+iReport多张报表连续输出案例
09-26
本案例主要探讨如何利用SpringMVC框架与iReport工具实现多张报表的连续输出，这对于处理复杂的数据报告需求非常有用。接下来，我们将详细讨论相关知识点。 首先，SpringMVC是Spring框架的一部分，它是一个基于模型-...
多输入多输出神经网络程序包含原始文件，自定义函数和数据集
04-16
标题中的“多输入多输出神经网络程序”是指一种深度学习模型，它允许同时处理多个输入通道和输出通道。这种架构广泛应用于复杂的数据分析任务，如图像识别、语音识别、自然语言处理等领域，因为它能捕捉到输入之间的...
Python格式化输出%s和%d
12-23
本文介绍了Python格式化输出%s和%d的实例案例。分享给大家供大家参考，具体如下： python print格式化输出 1. 打印字符串 print ("His name is %s"%("Aviad")) 效果： 2.打印整数 print ("He is %d years old"%(25...
java输出流可以输出不同类型文件_JAVA学习笔记（7）——输入/输出流和文件
weixin_29505121的博客
02-28 758
一、输入/输出流通常程序需要从外部获取/输出信息–这个“外部”范围很广，包括诸如键盘、显示器、文件、磁盘、网络、另外一个程序等–“信息”也可以是任何类型的，例如一个对象、串字符、图像、声音等通过使用java.io包中的输入/输出流类就可以达到输入输出信息的目的1.I/O流(Input/Output)–在Java中将信息的输入与输出过程抽象为I/O流输入是指数据流入程序输出是指数据从程序流出–一个流...
多种格式数据输出
尹成的技术博客
11-15 757
beego 当初设计的时候就考虑了 API 功能的设计，而我们在设计 API 的时候经常是输出 JSON 或者 XML 数据，那么 beego 提供了这样的方式直接输出： JSON 数据直接输出： func (this *AddController) Get() { mystruct := { ... } this.Data["json"] = &mystruct ...
MultipleOutputs实战：结果输出到多个文件夹或者文件中
小太阳~
07-19 3313
转载链接： http://blog.csdn.NET/garychenqin/article/details/48339327（在原文基础上增加了代码分析、执行和结果） 1、原理技术 输出到多个文件或多个文件夹，驱动中不需要额外改变，只需要在MapClass或Reduce类中加入如下代码： private MultipleOutputs mos; public void setup(
使用MultipleOutputs遇到的问题小记
苏格拉底的毒堇汁
08-12 2990
1、org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException: failed to create file /user/bjdata/user/wuyb/semv/SemAAJob_3/calsigma/_temporary/_attempt_2013062
Hadoop学习笔记———《MultipleOutputs———将结果输出到指定的多个文件或文件夹》
MJ
10-12 2398
在MapReduce中使用MultipleOutputs将结果输出到多个文件或文件夹 使用步骤主要有三步： 1、在reduce或map类中创建MultipleOutputs对象，将结果输出； class TestReducer extends Reducer{ //将结果输出到多个文件或多个文件夹 private MultipleOutputs mo
MapReduce 编程 系列六 MultipleOutputs使用
Dean Chen的专栏
10-02 5078
在前面的例子中，输出文件名是默认的：_logs part-r-00001 part-r-00003 part-r-00005 part-r-00007 part-r-00009 part-r-00011 part-r-00013 _SUCCESS part-r-00000 part-r-00002 part-r-00004 part-r-00006 part-
MapReduce处理输出多文件格式(MultipleOutputs)
shujuboke的博客
08-15 2244
MultiPleOutputs原理 MapReduce job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如part-(m|r)-00000之类，但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。以前常用的方法是在MR job运行之后，用脚本对目录下的
Hadoop 实例16-----MultipleOutputs实战：结果输出到多个文件夹或者文件中
陈先森~
09-10 4658
1.输出到多个文件或多个文件夹： 驱动中不需要额外改变，只需要在MapClass或Reduce类中加入如下代码private MultipleOutputs<Text,IntWritable> mos; public void setup(Context context) throws IOException,InterruptedException { 　　mos = new MultipleO
元数据驱动多租架构：知识与案例深度解析
元数据驱动多租数据架构是一种现代软件设计模式，它通过元数据管理实现对多个独立客户（租户）的数据和服务的高效、安全分发。这一架构的核心领域知识主要包括以下几个方面： 1. **多租户定义**：多租户架构是指一...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值