[hadoop2.7.1]I/O之SequenceFile最新API编程实例（写入、读取）

最新推荐文章于 2022-06-21 22:02:41 发布

海兰

最新推荐文章于 2022-06-21 22:02:41 发布

阅读量6.1k

点赞数 2

分类专栏： Hadoop开发 Java Hadoop源码分析研磨hadoop 文章标签： java hadoop 代码

本文链接：https://blog.csdn.net/hadoop_/article/details/49688281

版权

本文介绍了Hadoop2.7.1中SequenceFile的最新API，包括写入和读取操作。在写操作部分，详细阐述了新API的Option参数，如FileOption、KeyClassOption等，并提供了整合后的SequenceFileWriteDemo实例。在读操作部分，讲解了新的option参数如LengthOption，并展示了限制读取长度的源码示例。

摘要由CSDN通过智能技术生成

写操作

根据上一篇的介绍，在hadoop2.x之后，hadoop中的SequenceFile.Writer将会逐渐摒弃大量的createWriter（）重载方法，而整合为更为简洁的createWriter()方法，除了配置参数外，其他的参数统统使用SequenceFile.Writer.Option来替代，具体有：

新的API里提供的option参数：

FileOption
FileSystemOption
StreamOption
BufferSizeOption
BlockSizeOption
ReplicationOption
KeyClassOption
ValueClassOption
MetadataOption
ProgressableOption
CompressionOption

这些参数能够满足各种不同的需要，参数之间不存在顺序关系，这样减少了代码编写工作量，更为直观，便于理解，下面先来看看这个方法，后边将给出一个具体实例。

createWriter

public static org.apache.hadoop.io.SequenceFile.Writer createWriter(Configuration conf,
                                                    org.apache.hadoop.io.SequenceFile.Writer.Option... opts)
                                                             throws IOException

Create a new Writer with the given options.

Parameters:

conf - the con