调试集群的一些方法收集

1.
2.x中使用MapReduce JobHistory Server，端口号默认为19888，地址由参数mapreduce.jobhistory.webapp.address配置管理
使用命令mapred historyserver启动
2.
使用eclipse上传数据到集群时候，没有权限，需要在hdfs-site.xml添加 dfs.permissions 为false，最好也修改chown 。。。
3.
hadoop确定分组时,一般先将作为key的对象的HashCode和0x7FFFFFFF做与操作,因为一个对象的HashCode可以为负数,这样操作后可以保证它为一个正整数.然后以Hashtable的长度取模,得到值对象在Hashtable中的索引
4.
可以在mapred-site.xml，添加mapred.task.timeout属性，1800000 的值，增加等待时间
index = (o.hashCode() & 0x7FFFFFFF)%hs.length;
5.
单个shuffle能够消耗的内存占reduce所有内存的比例，默认值为0.25。那么降低mapreduce.reduce.shuffle.memory.limit.percentt这个参数应该可以使得程序选择OnDiskMapout而不是选择InMemory，调低至0.06再测试