spark encoder错误，需要import spark.implicits._

最新推荐文章于 2022-08-09 10:04:47 发布

lx6766

最新推荐文章于 2022-08-09 10:04:47 发布

阅读量2k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/lsx6766/article/details/88421772

版权

spark 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

Error:(33, 64) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._ Support for serializing other types will be added in future releases.
val values = sources.selectExpr("cast(value as string)").as[String]

import spark.implicits._//注意要放在全局的位置，尤其是方法调用  process_data(values)此方法内部使用到df.map方法，如果在main方法里引入上面的一句，则还是会报错！
val values = sources.selectExpr("cast(value as string)").as[String]