【FAQ】Spark报错: java.lang.UnsupportedOperationException: Unimplemented type:DoubleType

loongshawn

于 2021-06-09 17:05:48 发布

阅读量514

点赞数

分类专栏：笔记 Big Data 文章标签： apache impala spark

本文链接：https://blog.csdn.net/loongshawn/article/details/117748544

版权

博客内容主要涉及Spark运行时遇到的两个异常情况。异常一由Parquet文件schema不一致引发，解决方法包括删除分区并重建或手动修改文件。异常二与Spark任务中Stage失败有关，由于task大小超过`spark.rpc.message.maxSize`限制，建议调整该参数或使用广播变量。

摘要由CSDN通过智能技术生成

更详细说明可以参考《【FAQ】Impala常见异常incompatible Parquet schema for column》

异常回顾1

2019-01-01 11:24:32,035 WARN org.apache.spark.scheduler.TaskSetManager: Lost task xx.0 in stage x.0 (xxx 12, xxx, executor 3): org.apache.spark.SparkException: Task failed while writing rows
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$.org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask(FileFormatWriter.scala:398)
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$write$1$$anonfun$apply$mcV$sp$1.apply(FileFormatWriter.scala:197)
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$write$1$$anonfun$apply$mcV$sp$1.apply(FileFormatWriter.scala:196)
	at org.apache.spark.scheduler.ResultTask.