读入的text文档,x.split("\\|").toDF。如果最后一列(或最后几列)有空数据,map(x => x(lastone)),就会报数组越界的错,java.lang.IndexOutOfBoundsException。
所以只要用x.split("\\|",-1)这个就能解决。
如果hive里面多个表指向同一个路径,也会出现同样的报错。可以参考我朋友的解决方案。
读入的text文档,x.split("\\|").toDF。如果最后一列(或最后几列)有空数据,map(x => x(lastone)),就会报数组越界的错,java.lang.IndexOutOfBoundsException。
所以只要用x.split("\\|",-1)这个就能解决。
如果hive里面多个表指向同一个路径,也会出现同样的报错。可以参考我朋友的解决方案。