苏格拉底的毒堇汁

Tuple mapreduce：这篇文章：Tuple MapReduce: beyond classic MapReduce 介绍了Pangool的主体思想，利用tuple，在经典mapreduce上提供更易用的API。   特性： 支持三元组而不是key-value（直观上三元组的确能对group、sort、join等操作有更好的支持）简单的二次排序方式内建的reduce端连接保

这几天一直在优化job，下面是我认为有用的一些tips。 推测执行在整个集群上关闭，特定需要的作业单独开启，一般可以省下约5%~10%的集群资源。由mapred.map.task.speculative.execution[default true]和mapred.reduce.task.speculative.execution[default true]分别控制map和reduce的推测

Exception in thread "main" java.lang.RuntimeException: java.lang.InstantiationException at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:115) at com.mediav.hadoop.mapreduce

java.lang.RuntimeException: elephantbird.class.for.MultiInputFormat is not set at com.twitter.elephantbird.mapreduce.input.MultiInputFormat.setTypeRef(MultiInputFormat.java:132) at com.twitter.eleph