关于hive报错java.lang.IndexOutOfBoundsException

在执行一个简单query的时候遇到了数组越界的问题。

hive (zba_dwa)> select * from mid_dwa_v_d_cus_al_rns_encap_test where part_id=0 and day_id=28 and prov_id=011 limit 15;

OK

Failed with exception java.io.IOException:java.lang.IndexOutOfBoundsException

由于使用的CDH 5.5.4版本比较旧，不排除有bug的可能， 所以为了更好的解决问题查询如下信息：

1，完整的hive cli日志，请通过以下命令收集并上传cli.log：

hive --hiveconf hive.root.logger=DEBUG,console -e "select * from zba_dwa.mid_dwa_v_d_cus_al_rns_encap_test where part_id=0 and day_id=28 and prov_id=011 limit 15;" > cli.log 2>&1

2, 查询一下建表信息: show create table zba_dwa.mid_dwa_v_d_cus_al_rns_encap_test;

3, 这个语句的返回结果会有多少条记录？用count语句确认一下。

补充一下，数据文件是30.5 G ，算上副本 91.4 G的txt文件 条数count大概有91222998条 目前判断跟文件大小以及条数有关，但是不知道为何会因为这里出现这种情况，以及推荐的单个文件大小

带where条件的语句条数就是91222998

经过分析这个问题很有可能是在 CDH5.5.4 上的一个已知bug[1]，当table的txt文档很大时会出现split size越界的情况，这个bung在CDH 5.5.6上被修复了。可以尝试在query执行前设置一下split的size，然后看这个query能否执行成功。

set mapreduce.input.fileinputformat.split.minsize=1073741824;

set mapreduce.input.fileinputformat.split.maxsize=1073741824;

[1] https://issues.apache.org/jira/browse/MAPREDUCE-6635

set mapreduce.input.fileinputformat.split.minsize=1073741824;

set mapreduce.input.fileinputformat.split.maxsize=1073741824;

设置之后并未生效，调大到50g也未成功，猜测是否在这个版本只能先切分这个数据才可以了

再次通过重入切分暂时解决。