java多个mapreduce_java-如何将多个Hadoop MapReduce作业合并为一个...

我有大量的输入数据(这就是为什么我使用Hadoop的原因),并且可以通过各种MapReduce步骤解决多个任务,其中第一个映射器需要将所有数据作为输入.

我的目标：尽快计算这些不同的任务.

我目前让它们按顺序运行,每次读取所有数据.我认为将任务合并并执行它们的相似部分(例如将所有数据馈送到映射器)一次只会更快.

我想知道是否以及如何合并这些任务.对于每个输入键/值对,映射器都可以发出“超级键”,其中包括任务ID和特定于任务的键数据以及一个值.这样,化简将获得任务和特定于任务的键的键/值对,并可以在看到“超级键”时决定在包含的键和值上执行哪个任务.

用伪代码：

map(key, value):

emit(SuperKey("Task 1", IncludedKey), value)

emit(SuperKey("Task 2", AnotherIncludedKey), value)

reduce(key, values):

if key.taskid == "Task 1":

for value in values:

// do stuff with key.includedkey and value

else:

// do something else

密钥可以是WritableComparable,可以包含所有必要的信息.

注意：伪代码表明了一种糟糕的体系结构,并且绝对可以用更智能的方式来完成.

我的问题是：

>这是明智的做法吗？

>还有更好的选择吗？

>它有一些可怕的缺点吗？

>这种方法是否需要自定义的Partitioner类？

背景：数据由数百万个RDF四倍数组成,任务是计算聚类,统计量和相似度.仅需使用reducer中的Hadoop计数器即可轻松解决某些任务,但某些任务则需要多个MapReduce步骤.

计算最终将在亚马逊的Elastic MapReduce上进行.所有任务都将在整个数据集上尽可能快地进行计算.