坑爹的hadoop map reduce api

当前使用的hadoop为2.6

作为当前的技术大牛,Doug Cutting的编程能力毋庸置疑。lucene和hadoop都引领当前技术浪潮。但其api设计的风格的确令人不敢恭维,特么改来改去,无论是lucene还是hadoop api的向下兼容性都不好。

最近在研究hadoop的mapreduce。有一个简单的例子怎么写都特么地弄不对,自定义的reducer就是不起作用。仔细看了数遍,忽然发现问题所在

应该为

 

当然我原来的理解有错误,reducer的范型定义应该是输入和输出pair的类型,不能为Iteratable。但问题是,它的范型定义太松散,从编译器级别对reduce方法没有任何约束,新手一不留神就容易出错。其实,在mapper的定义中这个问题也存在。

或许在大牛一般都比较任性,许多地方都是基于约定的编程方式。但从api设计的角度来看,无论如何都是一个不好的典范。

另:

    我们一般学习新框架,新语言的一般步骤都是赶快完成一个hello word,直观感受一下代码特效。但这样做也隐藏了许多易出错的细节,造成看demo怎么都没问题,实际应用中问题不断。作为一个有数年开发经验的老人,我们更应当从底层彻底理解该框架。即时是demo代码,也要一行一行地敲一遍。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值