Dumbo开发map/reduce程序

       个人感觉Dumbo确实个好东西，可以很方便的用python写出map/reduce代码，可以方便的在单机上测试通过后再放到hadoop上跑，小白利器啊

各种参数配置传送门，这个很重要哦

https://github.com/klbostee/dumbo/wiki/Running-programs

今天用了这个参数

-preoutputs yes (don’t delete intermediate output results – can be useful for debugging when running multiple map/red iterations)

就是在多次迭代map/reduce时不删除之前计算的中间结果，默认是会删除的

但在dumbo start 中直接加这个参数是会报错的，提示找不到这个参数

但我们可以在additer或run 函数中来指定这个参数，参考：http://dumbotics.com/2009/05/13/the-opt-decorator/ 

 

opts = [("preoutputs","yes")]
job.additer(Mapper_init,opts = opts)

 

是不是很强大！