hadoop
gushuizerotoone
这个作者很懒,什么都没留下…
展开
-
can we specify a job running on a set of certain nodes.
1.Job tracker parameters permit setting limits on the number of maps (or reduces) per job and/or per node. [url]https://issues.apache.org/jira/browse/HADOOP-5170[/url]原创 2010-01-13 13:50:22 · 72 阅读 · 0 评论 -
hadoop备忘
hadoop 技术论坛。[url]http://bbs.hadoopor.com/index.php[/url]1.hadoop0.20.0 + eclipse环境搭建[url]http://bbs.hadoopor.com/thread-43-1-1.html[/url]台湾一个人写的,[color=red]很好[/color]。hadoop0.20.0 + eclipse环境搭建[ur...原创 2010-01-13 14:31:03 · 113 阅读 · 0 评论 -
生成自己的hadoop eclipse plugin
参考:[url]http://hadoop.hadoopor.com/thread-941-1-1.html[/url][url]http://trac.nchc.org.tw/cloud/wiki/waue/2010/0211[/url]可能有时候因为eclipse版本或者操作系统版本的问题使得hadoop 提供的 eclipse plugin不太好用。可以自己生成1.修改$...2010-04-08 23:00:11 · 80 阅读 · 0 评论 -
备忘:生成自己的build.xml,jar包
参考:[url]http://www.roseindia.net/tutorials/ant/Howtogeneratebuildfile.shtml[/url] 主要[url]http://techtracer.com/2007/04/16/the-great-ant-tutorial-a-great-jump-start[/url] 参照classpath,javac中要用到...2010-04-09 14:44:22 · 367 阅读 · 0 评论 -
impove hadoop mapreduce performance
[url]http://hadoop.apache.org/common/docs/current/mapred_tutorial.html[/url][url]http://hadoop.group.iteye.com/group/topic/18294[/url]1.set combiner:Users can optionally specify a combiner, vi...2010-04-09 20:50:58 · 157 阅读 · 0 评论 -
关于map task和reduce task的个数
先引用几段话:1.[url]http://coderplay.iteye.com/blog/318602[/url]11 楼 riddle_chen 2009-05-05 引用 jiwenke 写道coderplay 写道sorry,理解能力太差, 我不是很明白你的意思.如果你是需要控制单个节点同时在执行的的mapper/reducer数.你可以通过修改slave节点配...2010-04-13 22:15:52 · 478 阅读 · 0 评论 -
安装thrift
小白装个小东西总是要搞n久 T_T下载thrift依赖的东西[color=red]sudo apt-get install python-devsudo apt-get install libboost-dev automake libtool flex bison pkg-config g++[/color]下载最新版本thrift[color=red]wge...原创 2010-06-27 17:00:04 · 123 阅读 · 0 评论