hadoop遇到的问题（汇总）

1. 如果Map和reduce的输出不一致，需要显示的设置Map的输出，没有根据参数进行推导的原因是类型擦除

combiner是在copy数据到机器之前可以进行的一些数据的合并，这和数据有关，不是所有的任务都可以

进行combiner过程。

2. Hadoop 有两套API，一般来说用旧的就只能全部用旧的，用新的话就只能用新的，不能混用，不然会出现各种

错误。

3.InputSampler的问题，改变reduce的个数会影响结果的输出，报 split point are out of order 。这个问题是

因为取样之后，样本不均匀，导致选取的split point 中有相等的，然后报了这个错误，通过查找源代码发现，并且

把函数展开之后调试，特别困难。这种情况下只能是减少reduce的个数，这个问题只和数据有关，和其它条件没有

关系。

转载于:https://www.cnblogs.com/zhanglanyun/p/3214761.html