Hadoop全局排序(TotalOrderPartitioner)的若干坑点

最新推荐文章于 2019-12-20 11:33:58 发布

KylnMonkey

最新推荐文章于 2019-12-20 11:33:58 发布

阅读量1.4k

点赞数 2

文章标签： TotalOrderPartitioner 全局排序 Hadoop

本文链接：https://blog.csdn.net/qq_26235157/article/details/82535163

版权

本文列举了在使用Hadoop全局排序组件TotalOrderPartitioner时遇到的问题，包括错误分区数量导致的读取失败、找不到分区文件的困扰以及Key值类型不匹配错误的解决办法，提供了解决这些问题的具体方法。

摘要由CSDN通过智能技术生成

罗列一些在使用全局排序中的一些坑点，以及解决办法。

1、因错误分区数量而无法读取分区文件

Error: java.lang.IllegalArgumentException: Can't read partitions file
    at org.apache.hadoop.mapreduce.lib.partition.TotalOrderPartitioner.setConf(TotalOrderPartitioner.java:116)
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:76)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:136)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:701)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:770)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChi