[hadoop2.7.1]I/O之SequenceFile最新API编程实例(写入、读取)

本文介绍了Hadoop2.7.1中SequenceFile的最新API,包括写入和读取操作。在写操作部分,详细阐述了新API的Option参数,如FileOption、KeyClassOption等,并提供了整合后的SequenceFileWriteDemo实例。在读操作部分,讲解了新的option参数如LengthOption,并展示了限制读取长度的源码示例。
摘要由CSDN通过智能技术生成


写操作


根据上一篇的介绍,在hadoop2.x之后,hadoop中的SequenceFile.Writer将会逐渐摒弃大量的createWriter()重载方法,而整合为更为简洁的createWriter()方法,除了配置参数外,其他的参数统统使用SequenceFile.Writer.Option来替代,具体有:


新的API里提供的option参数:


FileOption
FileSystemOption
StreamOption
BufferSizeOption
BlockSizeOption
ReplicationOption
KeyClassOption
ValueClassOption
MetadataOption
ProgressableOption
CompressionOption

这些参数能够满足各种不同的需要,参数之间不存在顺序关系,这样减少了代码编写工作量,更为直观,便于理解,下面先来看看这个方法,后边将给出一个具体实例。

  • createWriter

    public static org.apache.hadoop.io.SequenceFile.Writer createWriter(Configuration conf,
                                                        org.apache.hadoop.io.SequenceFile.Writer.Option... opts)
                                                                 throws IOException
    Create a new Writer with the given options.
    Parameters:
    conf - the con
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值