![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 78
airinsoul
这个作者很懒,什么都没留下…
展开
-
MapReduce工作流
当处理变得非常复杂的时候,复杂性通过更多MapReduce任务,而不是更多的map和reduce函数来适应。换句话说,作为一个经验规则,考虑添加更多的jobs,而不是添加更多的复杂性给jobs。对于更复杂的问题,值得考虑高层语言来代替MapReduce,像是Pig,Hive或者是Cascading。一个显而易见的好处是,这把你从把问题翻译成MR任务的过程中解放出来,允许你精力放在本身算法上。将问题分解为MapReduce任务让我们看一个更加复杂的问题,我们将它转换为一个MapReduce工作流。假如我们想要翻译 2011-04-19 15:14:00 · 1053 阅读 · 0 评论 -
Hadoop 任务分解
<br />从高层看,有四个独立的实体:<br /> <br />- 客户端,提交MapReduce任务<br />- jobtracker,协调任务的运行。jobtracker是一个Java应用,它的主类是JobTracker<br />- tasktrackers,运行被分割的任务。tasktrackers是一个Java应用,它的主类是TaskTracker<br />- 分布式文件系统(通常是HDFS),用来在其它实体之间共享文件<br /> <br />Job提交<br /> <br />JobCl翻译 2011-04-22 10:38:00 · 2470 阅读 · 0 评论