spark sql 报错:java.lang.IndexOutOfBoundsException: toIndex = 5
字面意思就是数组下标超了,这个越界的原因是:spark dataframe在写数据到hadoop的时候,在存储文件中把分区字段也写进去了,正确的是分区字段不能写到文件中,而是作为文件目录。以下是错误的代码:case class myrow(pin:String, tag:String, dt:String)rdd.map(x=>myrow(x._1,x._2,yesterday)...
原创
2019-03-15 10:39:32 ·
5376 阅读 ·
1 评论