- 博客(2)
- 收藏
- 关注
RSS订阅转载 Hadoop开发常用的InputFormat和OutputFormat
Hadoop中的Map Reduce框架依赖InputFormat提供数据，依赖OutputFormat输出数据；每一个Map Reduce程序都离不开他们。Hadoop提供了一系列InputFormat和OutputFormat方便开发，本文介绍几种常用的。 TextInputFormat 用于读取纯文本文件，文件被分为一系列以LF或者CR结束的行，key是每一行的位置（偏移量,LongWritable类型），value是每一行的内容,Text类型。 KeyValueTextInputForm
2010-11-23 10:29:00
8496
原创 SecondaryNamenode应用摘记
一、环境 Hadoop 0.20.2、JDK 1.6、Linux操作系统 二、背景 上周五的时候，由于操作系统的原因，导致JDK出现莫名的段错误。无论是重启机器还是JDK重装都无济于事。更可悲的是，出问题的机器就是Master。当时心里就凉了半截，因为secondarynamenode配置也是在这个机器上（默认的，没改过）。不过万幸的是这个集群是测试环境，所以问题不大。借这个缘由，我将secondarynamenode重新配置到其他机器上，并做namenode挂掉并恢复的测试。 三、操作 1、关于
2010-11-04 15:59:00
5699
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人