当前使用的hadoop为2.6
作为当前的技术大牛,Doug Cutting的编程能力毋庸置疑。lucene和hadoop都引领当前技术浪潮。但其api设计的风格的确令人不敢恭维,特么改来改去,无论是lucene还是hadoop api的向下兼容性都不好。
最近在研究hadoop的mapreduce。有一个简单的例子怎么写都特么地弄不对,自定义的reducer就是不起作用。仔细看了数遍,忽然发现问题所在
应该为
当然我原来的理解有错误,reducer的范型定义应该是输入和输出pair的类型,不能为Iteratable。但问题是,它的范型定义太松散,从编译器级别对reduce方法没有任何约束,新手一不留神就容易出错。其实,在mapper的定义中这个问题也存在。
或许在大牛一般都比较任性,许多地方都是基于约定的编程方式。但从api设计的角度来看,无论如何都是一个不好的典范。
另:
我们一般学习新框架,新语言的一般步骤都是赶快完成一个hello word,直观感受一下代码特效。但这样做也隐藏了许多易出错的细节,造成看demo怎么都没问题,实际应用中问题不断。作为一个有数年开发经验的老人,我们更应当从底层彻底理解该框架。即时是demo代码,也要一行一行地敲一遍。