org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot be cast to scala.Tuple2

最新推荐文章于 2023-12-22 11:22:11 发布

乄浅醉

最新推荐文章于 2023-12-22 11:22:11 发布

阅读量1.2w

点赞数 2

分类专栏： java scala spark 文章标签： spark 异常

本文链接：https://blog.csdn.net/gg584741/article/details/77884060

版权

在使用Spark进行数据处理时遇到了一个异常，当尝试从DataFrame中提取字段时，错误提示'org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot be cast to scala.Tuple2'。文章介绍了该问题的背景，包括df的schema，并提供了两种解决方案：一是重新定义case class对象，但因数据量大而不适用；二是通过特定方式处理保持schema信息。异常原因可能是从row中取出复杂类型如Seq[(Double, Double)]时丢失了schema信息，导致后续操作抛出错误。" 110319701,10325800,全球谷歌卫星地图离线数据下载详解,"['地图数据', '卫星影像', '离线地图', '数据下载', 'GIS']

摘要由CSDN通过智能技术生成

今天在写spark 提数的时候遇到一个异常，如下

Caused by: java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot be cast to scala.Tuple2
  at $anonfun$1$$anonfun$apply$1.apply(<console>:27)
  at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
  at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
  at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
  at scala.collection.mutable.WrappedArray.foreach(WrappedArray.scala:

最低0.47元/天解锁文章

乄浅醉

关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
3
评论
org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot be cast to scala.Tuple2

今天在写spark 提数的时候遇到一个异常，如下Caused by: java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot be cast to scala.Tuple2 at $anonfun$1$$anonfun$apply$1.apply(<co
复制链接

扫一扫

专栏目录