Hadoop2.6.1中的Reducer实现

  • 正在考虑怎么方便上传图片

    1.Partitioner其是一个抽象类,只有一个抽象方法。其作用是对Reducer产生的中间结果进行分片,以方便将同一分组的数据交给同一个Reducer处理


    2.类的继承结构

     


    3.子类介绍一、BinaryPartitioner

    1. 可以像Python一样,使用左索引和右索引进行遍历


    1. 实现的函数


    1. 分别时设置偏移量
    2. 设置左偏移量
    3. 设置右偏移量
    4. 设置配置文件
    5. 获取配置文件
    6. 获取Partition的个数
    7. getPartition的函数实现,其也结识了Offset的设置和使用,其中的HashBytes函数为二进制计算hash


    4.子类介绍二、

    1. 该类的主要功能是根据确定的key去划分keys
    2. 类实现的函数如下


    1.  

    评论
    添加红包

    请填写红包祝福语或标题

    红包个数最小为10个

    红包金额最低5元

    当前余额3.43前往充值 >
    需支付:10.00
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明:

    1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

    余额充值