Dumbo学习笔记
xsspeng
这个作者很懒,什么都没留下…
展开
-
关于Dumbo的Memory Error
Dumbo默认设置了一个很小的内存上限 如果不做修改的话貌似很小的文件就会报 Memory Error 加上这个参数就OK啦,来1个G吧 dumbo start test.py -input $input -output $output -memlimit 1000000000原创 2013-04-17 13:51:55 · 459 阅读 · 0 评论 -
Dumbo开发map/reduce程序
个人感觉Dumbo确实个好东西,可以很方便的用python写出map/reduce代码,可以方便的在单机上测试通过后再放到hadoop上跑,小白利器啊 各种参数配置传送门,这个很重要哦 https://github.com/klbostee/dumbo/wiki/Running-programs 今天用了这个参数 -preoutputs yes (don’t delete intermed原创 2013-04-17 09:38:25 · 684 阅读 · 0 评论