[解决方案] Lost task 0.0 in stage 242.0 (TID 50429, spark-dn-bdp-p-037040.hz.td, executor 526): java.lang.ArrayIndexOutOfBoundsException: 3
原始代码
报错信息
分析过程
spark 升级到 spark 2.3.2后就有这个问题。具体原因后续再更新。
解决方案
加入 select
语句,pyspark 如下:
Scala 中解决办法为:
val isPartitionTable = spark.sql(s"desc test_table").select("col_name", "data_type").collect()